Пофиксила проблемы OTel
This commit is contained in:
@@ -1,4 +1,8 @@
|
||||
"""Вложения (lab5): upload → 202 queued, async worker, download вариантов."""
|
||||
"""Вложения (lab5/lab6): upload → 202 queued, async worker, download вариантов.
|
||||
|
||||
lab6: при создании outbox-строки кладём в payload W3C traceparent/tracestate
|
||||
текущего HTTP-запроса. Ошибка инжекта не должна блокировать upload.
|
||||
"""
|
||||
import hashlib
|
||||
import io
|
||||
import os
|
||||
@@ -12,6 +16,7 @@ from fastapi.responses import Response
|
||||
from PIL import Image, UnidentifiedImageError
|
||||
from starlette.concurrency import run_in_threadpool
|
||||
from botocore.exceptions import ClientError
|
||||
from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator
|
||||
|
||||
from ..models.schemas import Attachment, User
|
||||
from ..storage import s3
|
||||
@@ -24,6 +29,7 @@ router = APIRouter(prefix="/api/v1", tags=["attachments"])
|
||||
MAX_UPLOAD_BYTES = int(os.environ.get("MAX_UPLOAD_BYTES", "10485760"))
|
||||
MAX_IMAGE_PIXELS = int(os.environ.get("MAX_IMAGE_PIXELS", "40000000"))
|
||||
PIPELINE_VERSION = 1
|
||||
_propagator = TraceContextTextMapPropagator()
|
||||
|
||||
|
||||
def _require_member(chat_id: UUID, user_id: UUID):
|
||||
@@ -140,6 +146,14 @@ async def upload_attachment(
|
||||
)
|
||||
|
||||
job_id = uuid4()
|
||||
|
||||
# lab6: снимок W3C trace context активного HTTP span.
|
||||
trace_carrier: dict[str, str] = {}
|
||||
try:
|
||||
_propagator.inject(trace_carrier)
|
||||
except Exception:
|
||||
trace_carrier = {}
|
||||
|
||||
outbox_payload = {
|
||||
"job_id": str(job_id),
|
||||
"type": "attachment.process.v1",
|
||||
@@ -147,6 +161,10 @@ async def upload_attachment(
|
||||
"pipeline_version": PIPELINE_VERSION,
|
||||
"created_at": now.isoformat().replace("+00:00", "Z"),
|
||||
}
|
||||
if trace_carrier.get("traceparent"):
|
||||
outbox_payload["traceparent"] = trace_carrier["traceparent"]
|
||||
if trace_carrier.get("tracestate"):
|
||||
outbox_payload["tracestate"] = trace_carrier["tracestate"]
|
||||
|
||||
# 2) INSERT attachment + outbox в ОДНОЙ транзакции.
|
||||
# При сбое — компенсация: удаляем staging.
|
||||
|
||||
+49
-22
@@ -1,25 +1,28 @@
|
||||
"""Outbox worker lab5/lab6: publish неопубликованных job в RabbitMQ с трейсингом."""
|
||||
"""Outbox worker lab5/lab6: publish неопубликованных job в RabbitMQ с трейсингом.
|
||||
|
||||
lab6: payload строки outbox содержит traceparent/tracestate, снятые в момент
|
||||
upload-запроса API. Восстанавливаем контекст, создаём span job.publish как
|
||||
child upload-span и инжектим обновлённый traceparent в headers сообщения.
|
||||
|
||||
Лог event=outbox_published пишется ВНУТРИ span job.publish, чтобы в Loki
|
||||
попадал настоящий trace_id (корреляция лог↔trace).
|
||||
"""
|
||||
import logging
|
||||
import signal
|
||||
import sys
|
||||
import time
|
||||
import traceback
|
||||
|
||||
import pika
|
||||
from opentelemetry import trace
|
||||
from opentelemetry import context as otel_context, trace
|
||||
from opentelemetry.trace import SpanKind, Status, StatusCode
|
||||
from opentelemetry.trace.propagation.tracecontext import TraceContextTextMapPropagator
|
||||
|
||||
from .storage.db import init_pool, close_pool
|
||||
from .storage.postgres import storage
|
||||
from .storage.rabbit import EXCHANGE, QUEUE, publish_job
|
||||
from .storage.rabbit import QUEUE, publish_job
|
||||
from .telemetry import init_telemetry
|
||||
|
||||
logging.basicConfig(
|
||||
level=logging.INFO,
|
||||
format="%(asctime)s %(levelname)s %(name)s %(message)s",
|
||||
stream=sys.stdout,
|
||||
)
|
||||
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
|
||||
log = logging.getLogger("outbox")
|
||||
|
||||
_stop = False
|
||||
@@ -35,21 +38,48 @@ def _handle_sigterm(signum, frame):
|
||||
_stop = True
|
||||
|
||||
|
||||
def _publish_with_trace(payload: dict) -> None:
|
||||
"""Публикует payload с traceparent, чтобы consumer дал child span.
|
||||
def _extract_parent(payload: dict) -> otel_context.Context:
|
||||
carrier: dict[str, str] = {}
|
||||
if payload.get("traceparent"):
|
||||
carrier["traceparent"] = str(payload["traceparent"])
|
||||
if payload.get("tracestate"):
|
||||
carrier["tracestate"] = str(payload["tracestate"])
|
||||
if not carrier:
|
||||
return otel_context.Context()
|
||||
try:
|
||||
return _propagator.extract(carrier=carrier)
|
||||
except Exception as exc: # noqa: BLE001
|
||||
log.warning("event=trace_parent_parse_failed type=%s", type(exc).__name__)
|
||||
return otel_context.Context()
|
||||
|
||||
При ошибке пусть летит наверх — outbox ретраит сам.
|
||||
"""
|
||||
|
||||
def _publish_with_trace(payload: dict, outbox_id: int) -> None:
|
||||
"""Публикует payload; mark_published и лог — внутри span."""
|
||||
parent_ctx = _extract_parent(payload)
|
||||
carrier: dict[str, str] = {}
|
||||
with _tracer.start_as_current_span(
|
||||
"job.publish", kind=SpanKind.PRODUCER,
|
||||
attributes={"messaging.system": "rabbitmq",
|
||||
"messaging.destination.name": QUEUE,
|
||||
"job.id": str(payload.get("job_id", ""))},
|
||||
"job.publish",
|
||||
context=parent_ctx,
|
||||
kind=SpanKind.PRODUCER,
|
||||
attributes={
|
||||
"messaging.system": "rabbitmq",
|
||||
"messaging.destination.name": QUEUE,
|
||||
"job.id": str(payload.get("job_id", "")),
|
||||
"job.type": str(payload.get("type", "unknown")),
|
||||
"outbox.id": int(outbox_id),
|
||||
},
|
||||
) as span:
|
||||
try:
|
||||
_propagator.inject(carrier)
|
||||
try:
|
||||
_propagator.inject(carrier)
|
||||
except Exception as exc: # noqa: BLE001
|
||||
log.warning("event=trace_inject_failed type=%s", type(exc).__name__)
|
||||
carrier = {}
|
||||
publish_job(payload, extra_headers=carrier)
|
||||
storage.mark_outbox_published(outbox_id)
|
||||
# Лог внутри span → record.trace_id валидный.
|
||||
log.info("event=outbox_published id=%s job_id=%s",
|
||||
outbox_id, payload.get("job_id"))
|
||||
span.set_status(Status(StatusCode.OK))
|
||||
except Exception as exc:
|
||||
span.record_exception(exc)
|
||||
@@ -75,10 +105,7 @@ def main() -> None:
|
||||
if _stop:
|
||||
break
|
||||
try:
|
||||
_publish_with_trace(payload)
|
||||
storage.mark_outbox_published(outbox_id)
|
||||
log.info("event=outbox_published id=%s job_id=%s",
|
||||
outbox_id, payload.get("job_id"))
|
||||
_publish_with_trace(payload, outbox_id)
|
||||
except Exception as exc: # noqa: BLE001
|
||||
log.warning(
|
||||
"event=outbox_publish_failed id=%s type=%s msg=%s",
|
||||
|
||||
+68
-22
@@ -1,15 +1,13 @@
|
||||
"""Единая точка инициализации OpenTelemetry для API и worker.
|
||||
|
||||
- Отдаём OTLP/HTTP в Collector (otel-collector:4318).
|
||||
- resource attributes: service.name / service.version / service.instance.id /
|
||||
deployment.environment.name=lab.
|
||||
- Без сетевых зависимостей в момент старта: экспортёр сам буферизует и
|
||||
ретраит. При недоступности Collector приложение продолжает работать
|
||||
(см. README уровня 4).
|
||||
- OTLP/HTTP → Collector (otel-collector:4318).
|
||||
- resource: service.name/version/instance.id/deployment.environment.name=lab.
|
||||
- LoggingFilter подставляет trace_id/span_id в каждую запись, чтобы они
|
||||
попадали и в stdout (видно глазами), и в Loki (в тексте строки) — это
|
||||
требование lab6 level4 (связь лога и trace).
|
||||
"""
|
||||
import logging
|
||||
import os
|
||||
import socket
|
||||
import uuid
|
||||
|
||||
from opentelemetry import metrics, trace
|
||||
@@ -27,13 +25,10 @@ from opentelemetry.exporter.otlp.proto.http._log_exporter import OTLPLogExporter
|
||||
|
||||
|
||||
_INITIALIZED = False
|
||||
|
||||
# Instance id: стабильный в пределах процесса. Отличается у каждой реплики.
|
||||
INSTANCE_ID = os.environ.get("INSTANCE_ID") or uuid.uuid4().hex[:12]
|
||||
|
||||
|
||||
def _endpoint() -> str:
|
||||
# OTEL_EXPORTER_OTLP_ENDPOINT=http://otel-collector:4318
|
||||
return os.environ.get("OTEL_EXPORTER_OTLP_ENDPOINT", "http://otel-collector:4318").rstrip("/")
|
||||
|
||||
|
||||
@@ -50,13 +45,12 @@ def _resource(service_name: str, service_version: str) -> Resource:
|
||||
|
||||
def _build_trace_provider(resource: Resource) -> TracerProvider:
|
||||
provider = TracerProvider(resource=resource)
|
||||
exporter = OTLPSpanExporter(
|
||||
endpoint=_endpoint() + "/v1/traces",
|
||||
timeout=5,
|
||||
exporter = OTLPSpanExporter(endpoint=_endpoint() + "/v1/traces", timeout=5)
|
||||
provider.add_span_processor(
|
||||
BatchSpanProcessor(exporter, max_queue_size=2048,
|
||||
max_export_batch_size=512,
|
||||
schedule_delay_millis=2000)
|
||||
)
|
||||
provider.add_span_processor(BatchSpanProcessor(exporter, max_queue_size=2048,
|
||||
max_export_batch_size=512,
|
||||
schedule_delay_millis=2000))
|
||||
return provider
|
||||
|
||||
|
||||
@@ -81,23 +75,75 @@ def _build_logger_provider(resource: Resource) -> LoggerProvider:
|
||||
return provider
|
||||
|
||||
|
||||
class TraceContextFilter(logging.Filter):
|
||||
"""Подставляет record.trace_id / record.span_id из активного span.
|
||||
|
||||
Если активного span нет — пишет "0"*32 и "0"*16, чтобы лог-формат
|
||||
оставался валидным (не падал с KeyError). Так же OTel сам поступает.
|
||||
"""
|
||||
|
||||
def filter(self, record: logging.LogRecord) -> bool:
|
||||
span = trace.get_current_span()
|
||||
span_ctx = span.get_span_context() if span else None
|
||||
if span_ctx is not None and span_ctx.is_valid:
|
||||
record.trace_id = format(span_ctx.trace_id, "032x")
|
||||
record.span_id = format(span_ctx.span_id, "016x")
|
||||
else:
|
||||
record.trace_id = "0" * 32
|
||||
record.span_id = "0" * 16
|
||||
return True
|
||||
|
||||
|
||||
_LOG_FORMAT = (
|
||||
"%(asctime)s %(levelname)s %(name)s "
|
||||
"trace_id=%(trace_id)s span_id=%(span_id)s %(message)s"
|
||||
)
|
||||
|
||||
|
||||
def install_log_format() -> None:
|
||||
"""Единый формат логов API/worker/outbox.
|
||||
|
||||
Поля trace_id/span_id гарантированно существуют благодаря
|
||||
TraceContextFilter. Их наличие обеспечивает уровень 4 (корреляция
|
||||
логов и trace) и делает Loki-запросы `|= "trace_id="` рабочими.
|
||||
"""
|
||||
handler = logging.StreamHandler()
|
||||
handler.addFilter(TraceContextFilter())
|
||||
handler.setFormatter(logging.Formatter(_LOG_FORMAT))
|
||||
root = logging.getLogger()
|
||||
root.handlers = [handler]
|
||||
root.setLevel(logging.INFO)
|
||||
|
||||
|
||||
def init_telemetry(service_name: str, service_version: str = "1.6.0") -> None:
|
||||
"""Инициализация OTel. Идемпотентна в пределах процесса."""
|
||||
"""Идемпотентная инициализация OTel для процесса."""
|
||||
global _INITIALIZED
|
||||
if _INITIALIZED:
|
||||
return
|
||||
|
||||
# Сначала — единый формат логов и фильтр trace_id.
|
||||
install_log_format()
|
||||
|
||||
resource = _resource(service_name, service_version)
|
||||
trace.set_tracer_provider(_build_trace_provider(resource))
|
||||
metrics.set_meter_provider(_build_meter_provider(resource))
|
||||
logger_provider = _build_logger_provider(resource)
|
||||
set_logger_provider(logger_provider)
|
||||
|
||||
# Прокидываем OTel лог-хендлер в корневой logger, чтобы все `logging.info`
|
||||
# шли и в stdout (basicConfig ниже), и в OTLP/Loki через Collector.
|
||||
handler = LoggingHandler(level=logging.INFO, logger_provider=logger_provider)
|
||||
root = logging.getLogger()
|
||||
root.addHandler(handler)
|
||||
# OTel handler шлёт те же записи в Collector → Loki. Он тоже видит
|
||||
# trace_id из record, потому что span-контекст един.
|
||||
#
|
||||
# ВАЖНО: LoggingHandler.emit() формирует тело через self.format(record),
|
||||
# где self.formatter наследуется от logging.Handler. Без явного
|
||||
# formatter'а тело будет голым сообщением (msg % args) — без
|
||||
# trace_id=/span_id=. Это ломало поиск в Loki `|= "trace_id="`.
|
||||
# Поэтому задаём тот же формат и навешиваем TraceContextFilter
|
||||
# непосредственно на OTel-хэндлер: фильтр должен отработать ДО emit,
|
||||
# чтобы record.trace_id существовал на момент форматирования.
|
||||
otel_handler = LoggingHandler(level=logging.INFO, logger_provider=logger_provider)
|
||||
otel_handler.addFilter(TraceContextFilter())
|
||||
otel_handler.setFormatter(logging.Formatter(_LOG_FORMAT))
|
||||
logging.getLogger().addHandler(otel_handler)
|
||||
|
||||
_INITIALIZED = True
|
||||
logging.getLogger("telemetry").info(
|
||||
|
||||
+19
-26
@@ -12,8 +12,6 @@ import os
|
||||
import signal
|
||||
import sys
|
||||
import time
|
||||
from datetime import datetime, timezone
|
||||
from typing import Optional
|
||||
|
||||
import pika
|
||||
from PIL import Image, ImageOps
|
||||
@@ -30,11 +28,9 @@ from .storage.rabbit import (
|
||||
)
|
||||
from .telemetry import init_telemetry, meter
|
||||
|
||||
logging.basicConfig(
|
||||
level=logging.INFO,
|
||||
format="%(asctime)s %(levelname)s %(name)s %(message)s",
|
||||
stream=sys.stdout,
|
||||
)
|
||||
# Базовый логгер настраивается в telemetry.install_log_format() при старте
|
||||
# init_telemetry: trace_id/span_id подставляются фильтром.
|
||||
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
|
||||
log = logging.getLogger("worker")
|
||||
|
||||
PIPELINE_VERSION = 1
|
||||
@@ -53,14 +49,10 @@ init_telemetry("messenger-worker", "1.6.0")
|
||||
_tracer = trace.get_tracer("worker")
|
||||
_meter = meter("messenger-worker")
|
||||
_jobs_counter = _meter.create_counter(
|
||||
"jobs_processed_total",
|
||||
description="Jobs processed by outcome",
|
||||
unit="1",
|
||||
"jobs_processed_total", description="Jobs processed by outcome", unit="1",
|
||||
)
|
||||
_jobs_hist = _meter.create_histogram(
|
||||
"job_processing_duration_seconds",
|
||||
description="Job processing duration",
|
||||
unit="s",
|
||||
"job_processing_duration_seconds", description="Job processing duration", unit="s",
|
||||
)
|
||||
|
||||
|
||||
@@ -71,6 +63,7 @@ def _handle_sigterm(signum, frame):
|
||||
|
||||
|
||||
def _now_iso() -> str:
|
||||
from datetime import datetime, timezone
|
||||
return datetime.now(timezone.utc).isoformat().replace("+00:00", "Z")
|
||||
|
||||
|
||||
@@ -217,20 +210,20 @@ def process_job(payload: dict) -> None:
|
||||
|
||||
|
||||
def _extract_trace_context(properties) -> otel_context.Context:
|
||||
"""Достаём W3C traceparent/tracestate из headers сообщения.
|
||||
|
||||
Трейс API-upload → outbox publish → worker consume получает одну общую
|
||||
цепочку. При отсутствии headers возвращаем пустой контекст.
|
||||
"""
|
||||
headers = dict(properties.headers or {})
|
||||
if "traceparent" not in headers and "tracestate" not in headers:
|
||||
"""Извлекаем W3C traceparent/tracestate из headers. Ошибки → пустой контекст."""
|
||||
try:
|
||||
headers = dict(properties.headers or {})
|
||||
carrier = {
|
||||
k.lower(): str(v)
|
||||
for k, v in headers.items()
|
||||
if k.lower() in ("traceparent", "tracestate")
|
||||
}
|
||||
if not carrier:
|
||||
return otel_context.Context()
|
||||
return _propagator.extract(carrier=carrier)
|
||||
except Exception as exc: # noqa: BLE001
|
||||
log.warning("event=trace_extract_failed type=%s", type(exc).__name__)
|
||||
return otel_context.Context()
|
||||
carrier = {
|
||||
k.lower(): str(v)
|
||||
for k, v in headers.items()
|
||||
if k.lower() in ("traceparent", "tracestate")
|
||||
}
|
||||
return _propagator.extract(carrier=carrier)
|
||||
|
||||
|
||||
def _on_message(ch, method, properties, body):
|
||||
|
||||
Reference in New Issue
Block a user