Files
mtusi2026lab6/src/app/telemetry.py
T

160 lines
6.5 KiB
Python

"""Единая точка инициализации OpenTelemetry для API и worker.
- OTLP/HTTP → Collector (otel-collector:4318).
- resource: service.name/version/instance.id/deployment.environment.name=lab.
- LoggingFilter подставляет trace_id/span_id в каждую запись, чтобы они
попадали и в stdout (видно глазами), и в Loki (в тексте строки) — это
требование lab6 level4 (связь лога и trace).
"""
import logging
import os
import uuid
from opentelemetry import metrics, trace
from opentelemetry._logs import set_logger_provider
from opentelemetry.sdk._logs import LoggerProvider, LoggingHandler
from opentelemetry.sdk._logs.export import BatchLogRecordProcessor
from opentelemetry.sdk.metrics import MeterProvider
from opentelemetry.sdk.metrics.export import PeriodicExportingMetricReader
from opentelemetry.sdk.resources import Resource
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
from opentelemetry.exporter.otlp.proto.http.metric_exporter import OTLPMetricExporter
from opentelemetry.exporter.otlp.proto.http._log_exporter import OTLPLogExporter
_INITIALIZED = False
INSTANCE_ID = os.environ.get("INSTANCE_ID") or uuid.uuid4().hex[:12]
def _endpoint() -> str:
return os.environ.get("OTEL_EXPORTER_OTLP_ENDPOINT", "http://otel-collector:4318").rstrip("/")
def _resource(service_name: str, service_version: str) -> Resource:
return Resource.create(
{
"service.name": service_name,
"service.version": service_version,
"service.instance.id": INSTANCE_ID,
"deployment.environment.name": os.environ.get("APP_ENV", "lab"),
}
)
def _build_trace_provider(resource: Resource) -> TracerProvider:
provider = TracerProvider(resource=resource)
exporter = OTLPSpanExporter(endpoint=_endpoint() + "/v1/traces", timeout=5)
provider.add_span_processor(
BatchSpanProcessor(exporter, max_queue_size=2048,
max_export_batch_size=512,
schedule_delay_millis=2000)
)
return provider
def _build_meter_provider(resource: Resource) -> MeterProvider:
reader = PeriodicExportingMetricReader(
OTLPMetricExporter(endpoint=_endpoint() + "/v1/metrics", timeout=5),
export_interval_millis=5000,
)
return MeterProvider(resource=resource, metric_readers=[reader])
def _build_logger_provider(resource: Resource) -> LoggerProvider:
provider = LoggerProvider(resource=resource)
provider.add_log_record_processor(
BatchLogRecordProcessor(
OTLPLogExporter(endpoint=_endpoint() + "/v1/logs", timeout=5),
max_queue_size=2048,
max_export_batch_size=512,
schedule_delay_millis=2000,
)
)
return provider
class TraceContextFilter(logging.Filter):
"""Подставляет record.trace_id / record.span_id из активного span.
Если активного span нет — пишет "0"*32 и "0"*16, чтобы лог-формат
оставался валидным (не падал с KeyError). Так же OTel сам поступает.
"""
def filter(self, record: logging.LogRecord) -> bool:
span = trace.get_current_span()
span_ctx = span.get_span_context() if span else None
if span_ctx is not None and span_ctx.is_valid:
record.trace_id = format(span_ctx.trace_id, "032x")
record.span_id = format(span_ctx.span_id, "016x")
else:
record.trace_id = "0" * 32
record.span_id = "0" * 16
return True
_LOG_FORMAT = (
"%(asctime)s %(levelname)s %(name)s "
"trace_id=%(trace_id)s span_id=%(span_id)s %(message)s"
)
def install_log_format() -> None:
"""Единый формат логов API/worker/outbox.
Поля trace_id/span_id гарантированно существуют благодаря
TraceContextFilter. Их наличие обеспечивает уровень 4 (корреляция
логов и trace) и делает Loki-запросы `|= "trace_id="` рабочими.
"""
handler = logging.StreamHandler()
handler.addFilter(TraceContextFilter())
handler.setFormatter(logging.Formatter(_LOG_FORMAT))
root = logging.getLogger()
root.handlers = [handler]
root.setLevel(logging.INFO)
def init_telemetry(service_name: str, service_version: str = "1.6.0") -> None:
"""Идемпотентная инициализация OTel для процесса."""
global _INITIALIZED
if _INITIALIZED:
return
# Сначала — единый формат логов и фильтр trace_id.
install_log_format()
resource = _resource(service_name, service_version)
trace.set_tracer_provider(_build_trace_provider(resource))
metrics.set_meter_provider(_build_meter_provider(resource))
logger_provider = _build_logger_provider(resource)
set_logger_provider(logger_provider)
# OTel handler шлёт те же записи в Collector → Loki. Он тоже видит
# trace_id из record, потому что span-контекст един.
#
# ВАЖНО: LoggingHandler.emit() формирует тело через self.format(record),
# где self.formatter наследуется от logging.Handler. Без явного
# formatter'а тело будет голым сообщением (msg % args) — без
# trace_id=/span_id=. Это ломало поиск в Loki `|= "trace_id="`.
# Поэтому задаём тот же формат и навешиваем TraceContextFilter
# непосредственно на OTel-хэндлер: фильтр должен отработать ДО emit,
# чтобы record.trace_id существовал на момент форматирования.
otel_handler = LoggingHandler(level=logging.INFO, logger_provider=logger_provider)
otel_handler.addFilter(TraceContextFilter())
otel_handler.setFormatter(logging.Formatter(_LOG_FORMAT))
logging.getLogger().addHandler(otel_handler)
_INITIALIZED = True
logging.getLogger("telemetry").info(
"event=otel_init service=%s instance_id=%s endpoint=%s",
service_name, INSTANCE_ID, _endpoint(),
)
def tracer(name: str = "app"):
return trace.get_tracer(name)
def meter(name: str = "app"):
return metrics.get_meter(name)