160 lines
6.5 KiB
Python
160 lines
6.5 KiB
Python
"""Единая точка инициализации OpenTelemetry для API и worker.
|
|
|
|
- OTLP/HTTP → Collector (otel-collector:4318).
|
|
- resource: service.name/version/instance.id/deployment.environment.name=lab.
|
|
- LoggingFilter подставляет trace_id/span_id в каждую запись, чтобы они
|
|
попадали и в stdout (видно глазами), и в Loki (в тексте строки) — это
|
|
требование lab6 level4 (связь лога и trace).
|
|
"""
|
|
import logging
|
|
import os
|
|
import uuid
|
|
|
|
from opentelemetry import metrics, trace
|
|
from opentelemetry._logs import set_logger_provider
|
|
from opentelemetry.sdk._logs import LoggerProvider, LoggingHandler
|
|
from opentelemetry.sdk._logs.export import BatchLogRecordProcessor
|
|
from opentelemetry.sdk.metrics import MeterProvider
|
|
from opentelemetry.sdk.metrics.export import PeriodicExportingMetricReader
|
|
from opentelemetry.sdk.resources import Resource
|
|
from opentelemetry.sdk.trace import TracerProvider
|
|
from opentelemetry.sdk.trace.export import BatchSpanProcessor
|
|
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
|
|
from opentelemetry.exporter.otlp.proto.http.metric_exporter import OTLPMetricExporter
|
|
from opentelemetry.exporter.otlp.proto.http._log_exporter import OTLPLogExporter
|
|
|
|
|
|
_INITIALIZED = False
|
|
INSTANCE_ID = os.environ.get("INSTANCE_ID") or uuid.uuid4().hex[:12]
|
|
|
|
|
|
def _endpoint() -> str:
|
|
return os.environ.get("OTEL_EXPORTER_OTLP_ENDPOINT", "http://otel-collector:4318").rstrip("/")
|
|
|
|
|
|
def _resource(service_name: str, service_version: str) -> Resource:
|
|
return Resource.create(
|
|
{
|
|
"service.name": service_name,
|
|
"service.version": service_version,
|
|
"service.instance.id": INSTANCE_ID,
|
|
"deployment.environment.name": os.environ.get("APP_ENV", "lab"),
|
|
}
|
|
)
|
|
|
|
|
|
def _build_trace_provider(resource: Resource) -> TracerProvider:
|
|
provider = TracerProvider(resource=resource)
|
|
exporter = OTLPSpanExporter(endpoint=_endpoint() + "/v1/traces", timeout=5)
|
|
provider.add_span_processor(
|
|
BatchSpanProcessor(exporter, max_queue_size=2048,
|
|
max_export_batch_size=512,
|
|
schedule_delay_millis=2000)
|
|
)
|
|
return provider
|
|
|
|
|
|
def _build_meter_provider(resource: Resource) -> MeterProvider:
|
|
reader = PeriodicExportingMetricReader(
|
|
OTLPMetricExporter(endpoint=_endpoint() + "/v1/metrics", timeout=5),
|
|
export_interval_millis=5000,
|
|
)
|
|
return MeterProvider(resource=resource, metric_readers=[reader])
|
|
|
|
|
|
def _build_logger_provider(resource: Resource) -> LoggerProvider:
|
|
provider = LoggerProvider(resource=resource)
|
|
provider.add_log_record_processor(
|
|
BatchLogRecordProcessor(
|
|
OTLPLogExporter(endpoint=_endpoint() + "/v1/logs", timeout=5),
|
|
max_queue_size=2048,
|
|
max_export_batch_size=512,
|
|
schedule_delay_millis=2000,
|
|
)
|
|
)
|
|
return provider
|
|
|
|
|
|
class TraceContextFilter(logging.Filter):
|
|
"""Подставляет record.trace_id / record.span_id из активного span.
|
|
|
|
Если активного span нет — пишет "0"*32 и "0"*16, чтобы лог-формат
|
|
оставался валидным (не падал с KeyError). Так же OTel сам поступает.
|
|
"""
|
|
|
|
def filter(self, record: logging.LogRecord) -> bool:
|
|
span = trace.get_current_span()
|
|
span_ctx = span.get_span_context() if span else None
|
|
if span_ctx is not None and span_ctx.is_valid:
|
|
record.trace_id = format(span_ctx.trace_id, "032x")
|
|
record.span_id = format(span_ctx.span_id, "016x")
|
|
else:
|
|
record.trace_id = "0" * 32
|
|
record.span_id = "0" * 16
|
|
return True
|
|
|
|
|
|
_LOG_FORMAT = (
|
|
"%(asctime)s %(levelname)s %(name)s "
|
|
"trace_id=%(trace_id)s span_id=%(span_id)s %(message)s"
|
|
)
|
|
|
|
|
|
def install_log_format() -> None:
|
|
"""Единый формат логов API/worker/outbox.
|
|
|
|
Поля trace_id/span_id гарантированно существуют благодаря
|
|
TraceContextFilter. Их наличие обеспечивает уровень 4 (корреляция
|
|
логов и trace) и делает Loki-запросы `|= "trace_id="` рабочими.
|
|
"""
|
|
handler = logging.StreamHandler()
|
|
handler.addFilter(TraceContextFilter())
|
|
handler.setFormatter(logging.Formatter(_LOG_FORMAT))
|
|
root = logging.getLogger()
|
|
root.handlers = [handler]
|
|
root.setLevel(logging.INFO)
|
|
|
|
|
|
def init_telemetry(service_name: str, service_version: str = "1.6.0") -> None:
|
|
"""Идемпотентная инициализация OTel для процесса."""
|
|
global _INITIALIZED
|
|
if _INITIALIZED:
|
|
return
|
|
|
|
# Сначала — единый формат логов и фильтр trace_id.
|
|
install_log_format()
|
|
|
|
resource = _resource(service_name, service_version)
|
|
trace.set_tracer_provider(_build_trace_provider(resource))
|
|
metrics.set_meter_provider(_build_meter_provider(resource))
|
|
logger_provider = _build_logger_provider(resource)
|
|
set_logger_provider(logger_provider)
|
|
|
|
# OTel handler шлёт те же записи в Collector → Loki. Он тоже видит
|
|
# trace_id из record, потому что span-контекст един.
|
|
#
|
|
# ВАЖНО: LoggingHandler.emit() формирует тело через self.format(record),
|
|
# где self.formatter наследуется от logging.Handler. Без явного
|
|
# formatter'а тело будет голым сообщением (msg % args) — без
|
|
# trace_id=/span_id=. Это ломало поиск в Loki `|= "trace_id="`.
|
|
# Поэтому задаём тот же формат и навешиваем TraceContextFilter
|
|
# непосредственно на OTel-хэндлер: фильтр должен отработать ДО emit,
|
|
# чтобы record.trace_id существовал на момент форматирования.
|
|
otel_handler = LoggingHandler(level=logging.INFO, logger_provider=logger_provider)
|
|
otel_handler.addFilter(TraceContextFilter())
|
|
otel_handler.setFormatter(logging.Formatter(_LOG_FORMAT))
|
|
logging.getLogger().addHandler(otel_handler)
|
|
|
|
_INITIALIZED = True
|
|
logging.getLogger("telemetry").info(
|
|
"event=otel_init service=%s instance_id=%s endpoint=%s",
|
|
service_name, INSTANCE_ID, _endpoint(),
|
|
)
|
|
|
|
|
|
def tracer(name: str = "app"):
|
|
return trace.get_tracer(name)
|
|
|
|
|
|
def meter(name: str = "app"):
|
|
return metrics.get_meter(name) |