Пофиксила проблемы OTel

This commit is contained in:
vasyukova
2026-10-30 17:42:37 +03:00
parent 72a84fcb0c
commit dc6a7210e4
4 changed files with 155 additions and 71 deletions
+19 -1
View File
@@ -1,4 +1,8 @@
"""Вложения (lab5): upload → 202 queued, async worker, download вариантов."""
"""Вложения (lab5/lab6): upload → 202 queued, async worker, download вариантов.
lab6: при создании outbox-строки кладём в payload W3C traceparent/tracestate
текущего HTTP-запроса. Ошибка инжекта не должна блокировать upload.
"""
import hashlib
import io
import os
@@ -12,6 +16,7 @@ from fastapi.responses import Response
from PIL import Image, UnidentifiedImageError
from starlette.concurrency import run_in_threadpool
from botocore.exceptions import ClientError
from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator
from ..models.schemas import Attachment, User
from ..storage import s3
@@ -24,6 +29,7 @@ router = APIRouter(prefix="/api/v1", tags=["attachments"])
MAX_UPLOAD_BYTES = int(os.environ.get("MAX_UPLOAD_BYTES", "10485760"))
MAX_IMAGE_PIXELS = int(os.environ.get("MAX_IMAGE_PIXELS", "40000000"))
PIPELINE_VERSION = 1
_propagator = TraceContextTextMapPropagator()
def _require_member(chat_id: UUID, user_id: UUID):
@@ -140,6 +146,14 @@ async def upload_attachment(
)
job_id = uuid4()
# lab6: снимок W3C trace context активного HTTP span.
trace_carrier: dict[str, str] = {}
try:
_propagator.inject(trace_carrier)
except Exception:
trace_carrier = {}
outbox_payload = {
"job_id": str(job_id),
"type": "attachment.process.v1",
@@ -147,6 +161,10 @@ async def upload_attachment(
"pipeline_version": PIPELINE_VERSION,
"created_at": now.isoformat().replace("+00:00", "Z"),
}
if trace_carrier.get("traceparent"):
outbox_payload["traceparent"] = trace_carrier["traceparent"]
if trace_carrier.get("tracestate"):
outbox_payload["tracestate"] = trace_carrier["tracestate"]
# 2) INSERT attachment + outbox в ОДНОЙ транзакции.
# При сбое — компенсация: удаляем staging.
+49 -22
View File
@@ -1,25 +1,28 @@
"""Outbox worker lab5/lab6: publish неопубликованных job в RabbitMQ с трейсингом."""
"""Outbox worker lab5/lab6: publish неопубликованных job в RabbitMQ с трейсингом.
lab6: payload строки outbox содержит traceparent/tracestate, снятые в момент
upload-запроса API. Восстанавливаем контекст, создаём span job.publish как
child upload-span и инжектим обновлённый traceparent в headers сообщения.
Лог event=outbox_published пишется ВНУТРИ span job.publish, чтобы в Loki
попадал настоящий trace_id (корреляция лог↔trace).
"""
import logging
import signal
import sys
import time
import traceback
import pika
from opentelemetry import trace
from opentelemetry import context as otel_context, trace
from opentelemetry.trace import SpanKind, Status, StatusCode
from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator
from .storage.db import init_pool, close_pool
from .storage.postgres import storage
from .storage.rabbit import EXCHANGE, QUEUE, publish_job
from .storage.rabbit import QUEUE, publish_job
from .telemetry import init_telemetry
logging.basicConfig(
level=logging.INFO,
format="%(asctime)s %(levelname)s %(name)s %(message)s",
stream=sys.stdout,
)
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
log = logging.getLogger("outbox")
_stop = False
@@ -35,21 +38,48 @@ def _handle_sigterm(signum, frame):
_stop = True
def _publish_with_trace(payload: dict) -> None:
"""Публикует payload с traceparent, чтобы consumer дал child span.
def _extract_parent(payload: dict) -> otel_context.Context:
carrier: dict[str, str] = {}
if payload.get("traceparent"):
carrier["traceparent"] = str(payload["traceparent"])
if payload.get("tracestate"):
carrier["tracestate"] = str(payload["tracestate"])
if not carrier:
return otel_context.Context()
try:
return _propagator.extract(carrier=carrier)
except Exception as exc: # noqa: BLE001
log.warning("event=trace_parent_parse_failed type=%s", type(exc).__name__)
return otel_context.Context()
При ошибке пусть летит наверх — outbox ретраит сам.
"""
def _publish_with_trace(payload: dict, outbox_id: int) -> None:
"""Публикует payload; mark_published и лог — внутри span."""
parent_ctx = _extract_parent(payload)
carrier: dict[str, str] = {}
with _tracer.start_as_current_span(
"job.publish", kind=SpanKind.PRODUCER,
attributes={"messaging.system": "rabbitmq",
"messaging.destination.name": QUEUE,
"job.id": str(payload.get("job_id", ""))},
"job.publish",
context=parent_ctx,
kind=SpanKind.PRODUCER,
attributes={
"messaging.system": "rabbitmq",
"messaging.destination.name": QUEUE,
"job.id": str(payload.get("job_id", "")),
"job.type": str(payload.get("type", "unknown")),
"outbox.id": int(outbox_id),
},
) as span:
try:
_propagator.inject(carrier)
try:
_propagator.inject(carrier)
except Exception as exc: # noqa: BLE001
log.warning("event=trace_inject_failed type=%s", type(exc).__name__)
carrier = {}
publish_job(payload, extra_headers=carrier)
storage.mark_outbox_published(outbox_id)
# Лог внутри span → record.trace_id валидный.
log.info("event=outbox_published id=%s job_id=%s",
outbox_id, payload.get("job_id"))
span.set_status(Status(StatusCode.OK))
except Exception as exc:
span.record_exception(exc)
@@ -75,10 +105,7 @@ def main() -> None:
if _stop:
break
try:
_publish_with_trace(payload)
storage.mark_outbox_published(outbox_id)
log.info("event=outbox_published id=%s job_id=%s",
outbox_id, payload.get("job_id"))
_publish_with_trace(payload, outbox_id)
except Exception as exc: # noqa: BLE001
log.warning(
"event=outbox_publish_failed id=%s type=%s msg=%s",
+68 -22
View File
@@ -1,15 +1,13 @@
"""Единая точка инициализации OpenTelemetry для API и worker.
- Отдаём OTLP/HTTP в Collector (otel-collector:4318).
- resource attributes: service.name / service.version / service.instance.id /
deployment.environment.name=lab.
- Без сетевых зависимостей в момент старта: экспортёр сам буферизует и
ретраит. При недоступности Collector приложение продолжает работать
(см. README уровня 4).
- OTLP/HTTP → Collector (otel-collector:4318).
- resource: service.name/version/instance.id/deployment.environment.name=lab.
- LoggingFilter подставляет trace_id/span_id в каждую запись, чтобы они
попадали и в stdout (видно глазами), и в Loki (в тексте строки) — это
требование lab6 level4 (связь лога и trace).
"""
import logging
import os
import socket
import uuid
from opentelemetry import metrics, trace
@@ -27,13 +25,10 @@ from opentelemetry.exporter.otlp.proto.http._log_exporter import OTLPLogExporter
_INITIALIZED = False
# Instance id: стабильный в пределах процесса. Отличается у каждой реплики.
INSTANCE_ID = os.environ.get("INSTANCE_ID") or uuid.uuid4().hex[:12]
def _endpoint() -> str:
# OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
return os.environ.get("OTEL_EXPORTER_OTLP_ENDPOINT", "http://otel-collector:4318").rstrip("/")
@@ -50,13 +45,12 @@ def _resource(service_name: str, service_version: str) -> Resource:
def _build_trace_provider(resource: Resource) -> TracerProvider:
provider = TracerProvider(resource=resource)
exporter = OTLPSpanExporter(
endpoint=_endpoint() + "/v1/traces",
timeout=5,
exporter = OTLPSpanExporter(endpoint=_endpoint() + "/v1/traces", timeout=5)
provider.add_span_processor(
BatchSpanProcessor(exporter, max_queue_size=2048,
max_export_batch_size=512,
schedule_delay_millis=2000)
)
provider.add_span_processor(BatchSpanProcessor(exporter, max_queue_size=2048,
max_export_batch_size=512,
schedule_delay_millis=2000))
return provider
@@ -81,23 +75,75 @@ def _build_logger_provider(resource: Resource) -> LoggerProvider:
return provider
class TraceContextFilter(logging.Filter):
"""Подставляет record.trace_id / record.span_id из активного span.
Если активного span нет — пишет "0"*32 и "0"*16, чтобы лог-формат
оставался валидным (не падал с KeyError). Так же OTel сам поступает.
"""
def filter(self, record: logging.LogRecord) -> bool:
span = trace.get_current_span()
span_ctx = span.get_span_context() if span else None
if span_ctx is not None and span_ctx.is_valid:
record.trace_id = format(span_ctx.trace_id, "032x")
record.span_id = format(span_ctx.span_id, "016x")
else:
record.trace_id = "0" * 32
record.span_id = "0" * 16
return True
_LOG_FORMAT = (
"%(asctime)s %(levelname)s %(name)s "
"trace_id=%(trace_id)s span_id=%(span_id)s %(message)s"
)
def install_log_format() -> None:
"""Единый формат логов API/worker/outbox.
Поля trace_id/span_id гарантированно существуют благодаря
TraceContextFilter. Их наличие обеспечивает уровень 4 (корреляция
логов и trace) и делает Loki-запросы `|= "trace_id="` рабочими.
"""
handler = logging.StreamHandler()
handler.addFilter(TraceContextFilter())
handler.setFormatter(logging.Formatter(_LOG_FORMAT))
root = logging.getLogger()
root.handlers = [handler]
root.setLevel(logging.INFO)
def init_telemetry(service_name: str, service_version: str = "1.6.0") -> None:
"""Инициализация OTel. Идемпотентна в пределах процесса."""
"""Идемпотентная инициализация OTel для процесса."""
global _INITIALIZED
if _INITIALIZED:
return
# Сначала — единый формат логов и фильтр trace_id.
install_log_format()
resource = _resource(service_name, service_version)
trace.set_tracer_provider(_build_trace_provider(resource))
metrics.set_meter_provider(_build_meter_provider(resource))
logger_provider = _build_logger_provider(resource)
set_logger_provider(logger_provider)
# Прокидываем OTel лог-хендлер в корневой logger, чтобы все `logging.info`
# шли и в stdout (basicConfig ниже), и в OTLP/Loki через Collector.
handler = LoggingHandler(level=logging.INFO, logger_provider=logger_provider)
root = logging.getLogger()
root.addHandler(handler)
# OTel handler шлёт те же записи в Collector → Loki. Он тоже видит
# trace_id из record, потому что span-контекст един.
#
# ВАЖНО: LoggingHandler.emit() формирует тело через self.format(record),
# где self.formatter наследуется от logging.Handler. Без явного
# formatter'а тело будет голым сообщением (msg % args) — без
# trace_id=/span_id=. Это ломало поиск в Loki `|= "trace_id="`.
# Поэтому задаём тот же формат и навешиваем TraceContextFilter
# непосредственно на OTel-хэндлер: фильтр должен отработать ДО emit,
# чтобы record.trace_id существовал на момент форматирования.
otel_handler = LoggingHandler(level=logging.INFO, logger_provider=logger_provider)
otel_handler.addFilter(TraceContextFilter())
otel_handler.setFormatter(logging.Formatter(_LOG_FORMAT))
logging.getLogger().addHandler(otel_handler)
_INITIALIZED = True
logging.getLogger("telemetry").info(
+19 -26
View File
@@ -12,8 +12,6 @@ import os
import signal
import sys
import time
from datetime import datetime, timezone
from typing import Optional
import pika
from PIL import Image, ImageOps
@@ -30,11 +28,9 @@ from .storage.rabbit import (
)
from .telemetry import init_telemetry, meter
logging.basicConfig(
level=logging.INFO,
format="%(asctime)s %(levelname)s %(name)s %(message)s",
stream=sys.stdout,
)
# Базовый логгер настраивается в telemetry.install_log_format() при старте
# init_telemetry: trace_id/span_id подставляются фильтром.
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
log = logging.getLogger("worker")
PIPELINE_VERSION = 1
@@ -53,14 +49,10 @@ init_telemetry("messenger-worker", "1.6.0")
_tracer = trace.get_tracer("worker")
_meter = meter("messenger-worker")
_jobs_counter = _meter.create_counter(
"jobs_processed_total",
description="Jobs processed by outcome",
unit="1",
"jobs_processed_total", description="Jobs processed by outcome", unit="1",
)
_jobs_hist = _meter.create_histogram(
"job_processing_duration_seconds",
description="Job processing duration",
unit="s",
"job_processing_duration_seconds", description="Job processing duration", unit="s",
)
@@ -71,6 +63,7 @@ def _handle_sigterm(signum, frame):
def _now_iso() -> str:
from datetime import datetime, timezone
return datetime.now(timezone.utc).isoformat().replace("+00:00", "Z")
@@ -217,20 +210,20 @@ def process_job(payload: dict) -> None:
def _extract_trace_context(properties) -> otel_context.Context:
"""Достаём W3C traceparent/tracestate из headers сообщения.
Трейс API-upload → outbox publish → worker consume получает одну общую
цепочку. При отсутствии headers возвращаем пустой контекст.
"""
headers = dict(properties.headers or {})
if "traceparent" not in headers and "tracestate" not in headers:
"""Извлекаем W3C traceparent/tracestate из headers. Ошибки → пустой контекст."""
try:
headers = dict(properties.headers or {})
carrier = {
k.lower(): str(v)
for k, v in headers.items()
if k.lower() in ("traceparent", "tracestate")
}
if not carrier:
return otel_context.Context()
return _propagator.extract(carrier=carrier)
except Exception as exc: # noqa: BLE001
log.warning("event=trace_extract_failed type=%s", type(exc).__name__)
return otel_context.Context()
carrier = {
k.lower(): str(v)
for k, v in headers.items()
if k.lower() in ("traceparent", "tracestate")
}
return _propagator.extract(carrier=carrier)
def _on_message(ch, method, properties, body):