Исправила замечание 3 (порядок инструментации FastAPI): SERVER span теперь внешний и продолжает входной traceparent. Добавила дочерние S3/DB spans внутри job.consume для разложения задержки по зависимостям

This commit is contained in:
vasyukova
2026-10-31 00:00:52 +03:00
parent 55057eab6e
commit 32bbd25143
2 changed files with 123 additions and 32 deletions
+25 -12
View File
@@ -12,13 +12,14 @@ from fastapi.responses import JSONResponse
from starlette.exceptions import HTTPException as StarletteHTTPException
import psycopg
import uvicorn
from opentelemetry import trace as _otel_trace
from opentelemetry.instrumentation.fastapi import FastAPIInstrumentor
from .api import attachments, auth, chats, health, messages, users
from .storage.db import init_pool, close_pool
from .telemetry import init_telemetry, INSTANCE_ID, meter, tracer
# Базовый логгер: реальный формат выставит telemetry.install_log_format()
# Базовый логгер: реальный формат выставляет telemetry.install_log_format()
# при вызове init_telemetry(). Здесь — минимальный fallback для импорта.
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
logger = logging.getLogger("app")
@@ -47,7 +48,6 @@ app = FastAPI(
# OTel инициализация и FastAPI auto-instrumentation.
init_telemetry("messenger-api", "1.6.0")
FastAPIInstrumentor.instrument_app(app)
# --- Метрики HTTP ---
@@ -62,7 +62,7 @@ _http_hist = meter("messenger").create_histogram(
unit="s",
)
# Хелпер: убираем реальные UUID из маршрута → route template.
# Фильтр: убираем реальные UUID из маршрута → route template.
import re as _re
_ROUTE_UUID_RE = _re.compile(r"[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}")
@@ -81,26 +81,32 @@ def custom_openapi():
app.openapi = custom_openapi
# Отдельный tracer для собственного span в middleware. Появляется как
# child к server span FastAPI (он активен во время обработки запроса).
# Отдельный tracer для событийного span в middleware. Он создаётся как child
# SERVER span, который создаёт OTel FastAPI instrumentation ниже.
# ВАЖНО: FastAPIInstrumentor.instrument_app(app) вызывается ПОСЛЕ объявления
# middleware, поэтому OTel ASGI middleware оказывается внешним: он извлекает
# W3C traceparent из входящих headers, продолжает внешний trace и создаёт
# SERVER span. Наш middleware выполняется внутри него, создаёт http.request
# как INTERNAL child, и логи/метрики берут корректный trace_id.
_http_tracer = tracer("app.http")
@app.middleware("http")
async def observability_middleware(request: Request, call_next):
"""X-Request-Id и X-Instance-Id во всех ответах + структурный лог + метрики.
"""X-Request-Id и X-Instance-Id во всех ответах + структурированный лог + метрики.
Лог event=http пишется ВНУТРИ активного span (`http.request`), иначе
после await call_next() span FastAPI уже закрыт, и в лог попадёт
trace_id=000… (это ломало корреляцию лог↔trace в Loki).
Лог event=http пишется ВНУТРИ активного span (`http.request`), он
child SERVER span от OTel auto-instrumentation, поэтому trace_id
корректно связывает лог с внешним trace.
"""
request_id = request.headers.get("X-Request-Id") or uuid.uuid4().hex
request.state.request_id = request_id
started = time.monotonic()
route = _route_template(request.url.path)
# Свой span, дочерний к FastAPI server span. Внутри него — вся обработка
# запроса и запись структурированного лога с настоящим trace_id.
# http.request — INTERNAL child текущего (SERVER) span, созданного OTel
# auto-instrumentation. Parent берётся из активного контекста: входящий
# traceparent уже извлечён ASGI middleware.
with _http_tracer.start_as_current_span(
"http.request",
attributes={
@@ -140,7 +146,14 @@ async def observability_middleware(request: Request, call_next):
return response
# --- Обработчики ошибок (без изменений с lab5) ---
# FastAPI auto-instrumentation ДОЛЖНА быть установлена ПОСЛЕ пользовательского
# @app.middleware("http"), чтобы оказаться внешним middleware и создать SERVER
# span с корректным parent из входного traceparent. Этот вызов также
# инструментирует httpx/requests client-вызовы внутри приложения.
FastAPIInstrumentor.instrument_app(app)
# --- Обработчики ошибок (без изменений) ---
_ERROR_CODES = {
400: "invalid_request",
401: "unauthorized",
+98 -20
View File
@@ -1,8 +1,8 @@
"""Worker lab5/lab6: обработка вложений из RabbitMQ с трейсингом.
- at-least-once, идемпотентно, retry через TTL-очереди, DLQ.
- at-least-once, идемпотентно, retry через TTL-очередь, DLQ.
- OTel: consumer span на каждый job, извлечение trace context из заголовков
сообщения (W3C traceparent/tracestate).
сообщения (W3C traceparent/tracestate), child spans на S3/DB операции.
- Метрики: jobs_processed_total{outcome}, job_processing_duration_seconds.
"""
import io
@@ -28,8 +28,6 @@ from .storage.rabbit import (
)
from .telemetry import init_telemetry, meter
# Базовый логгер настраивается в telemetry.install_log_format() при старте
# init_telemetry: trace_id/span_id подставляются фильтром.
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
log = logging.getLogger("worker")
@@ -56,6 +54,30 @@ _jobs_hist = _meter.create_histogram(
)
# --- span helpers: дочерние операции S3/DB ---
#
# ВАЖНО: атрибуты, содержащие точку (`db.operation`, `aws.s3.key` и т.п.),
# нельзя передавать как kwargs — Python-идентификатор с точкой невозможен.
# Поэтому оба хелпера принимают dict атрибутов.
def _s3_span(name: str, attrs: dict):
"""Context manager для S3-операции (CLIENT span внутри job.consume)."""
return _tracer.start_as_current_span(
name,
kind=SpanKind.CLIENT,
attributes={"messaging.system": "s3", **attrs},
)
def _db_span(name: str, attrs: dict):
"""Context manager для DB-операции (CLIENT span внутри job.consume)."""
return _tracer.start_as_current_span(
name,
kind=SpanKind.CLIENT,
attributes={"db.system": "postgresql", **attrs},
)
def _handle_sigterm(signum, frame):
global _stop
log.info("event=sigterm_received signal=%s", signum)
@@ -118,8 +140,26 @@ def _sha256(data: bytes) -> str:
return hashlib.sha256(data).hexdigest()
def _s3_put_variant(chat_id, att_id, name: str, data: bytes, ctype: str) -> str:
"""Общий путь: S3 PUT варианта внутри CLIENT span."""
key = s3.variant_key(chat_id, att_id, name)
with _s3_span("s3.put_object", {
"aws.s3.key": key,
"s3.operation": "put_object",
"s3.variant": name,
"s3.content_type": ctype,
"s3.size_bytes": len(data),
}):
s3.put_bytes(key, data, ctype)
return key
def process_job(payload: dict) -> None:
"""Обработка одного job. Идемпотентна через finalize_ready."""
"""Обработка одного job. Идемпотентна через finalize_ready.
Внутри активного job.consume (CONSUMER) span создаются дочерние CLIENT
spans для S3 и DB, чтобы разложить задержку обработки по зависимостям.
"""
attachment_id = payload["attachment_id"]
pipeline_version = payload.get("pipeline_version", 1)
job_id = payload["job_id"]
@@ -127,7 +167,12 @@ def process_job(payload: dict) -> None:
log.info("event=job_received job_id=%s attachment_id=%s attempt=%s",
job_id, attachment_id, payload.get("attempt", 1))
if not storage.claim_processing(attachment_id, LEASE_SECONDS):
with _db_span("db.claim_processing", {
"db.operation": "UPDATE",
"attachment_id": str(attachment_id),
}):
claimed = storage.claim_processing(attachment_id, LEASE_SECONDS)
if not claimed:
log.info("event=job_skipped_already_done attachment_id=%s", attachment_id)
return
@@ -141,7 +186,12 @@ def process_job(payload: dict) -> None:
return
try:
raw, ctype = s3.get_object(staging_key)
with _s3_span("s3.get_object", {
"aws.s3.key": staging_key,
"s3.operation": "get_object",
"s3.variant": "staging",
}):
raw, ctype = s3.get_object(staging_key)
except Exception as exc: # noqa: BLE001
raise RuntimeError("staging_unavailable") from exc
@@ -149,14 +199,27 @@ def process_job(payload: dict) -> None:
img = Image.open(io.BytesIO(raw))
img.load()
except Exception as exc: # noqa: BLE001
storage.finalize_failed(attachment_id, "invalid_image")
with _db_span("db.finalize_failed", {
"db.operation": "UPDATE",
"error_code": "invalid_image",
}):
storage.finalize_failed(attachment_id, "invalid_image")
log.warning("event=invalid_image attachment_id=%s type=%s",
attachment_id, type(exc).__name__)
return
img_rgb = _to_rgb_white(img)
# Финал: S3 PUT оригинала
final_key = s3.original_key(att.chat_id, att.id)
s3.put_bytes(final_key, raw, att.content_type)
with _s3_span("s3.put_object", {
"aws.s3.key": final_key,
"s3.operation": "put_object",
"s3.variant": "original",
"s3.content_type": att.content_type,
"s3.size_bytes": len(raw),
}):
s3.put_bytes(final_key, raw, att.content_type)
variants = [{
"name": "original",
@@ -168,9 +231,9 @@ def process_job(payload: dict) -> None:
"sha256": _sha256(raw),
}]
# Thumbnail
_, thumb_bytes = _make_thumbnail(img_rgb)
thumb_key = s3.variant_key(att.chat_id, att.id, "thumbnail")
s3.put_bytes(thumb_key, thumb_bytes, "image/jpeg")
thumb_key = _s3_put_variant(att.chat_id, att.id, "thumbnail", thumb_bytes, "image/jpeg")
tw, th = Image.open(io.BytesIO(thumb_bytes)).size
variants.append({
"name": "thumbnail", "object_key": thumb_key,
@@ -178,9 +241,9 @@ def process_job(payload: dict) -> None:
"width": tw, "height": th, "sha256": _sha256(thumb_bytes),
})
# Crop
_, crop_bytes = _make_crop(img_rgb)
crop_key = s3.variant_key(att.chat_id, att.id, "crop")
s3.put_bytes(crop_key, crop_bytes, "image/jpeg")
crop_key = _s3_put_variant(att.chat_id, att.id, "crop", crop_bytes, "image/jpeg")
cw, ch = Image.open(io.BytesIO(crop_bytes)).size
variants.append({
"name": "crop", "object_key": crop_key,
@@ -188,9 +251,9 @@ def process_job(payload: dict) -> None:
"width": cw, "height": ch, "sha256": _sha256(crop_bytes),
})
# Optimized
_, opt_bytes = _make_optimized(img_rgb)
opt_key = s3.variant_key(att.chat_id, att.id, "optimized")
s3.put_bytes(opt_key, opt_bytes, "image/webp")
opt_key = _s3_put_variant(att.chat_id, att.id, "optimized", opt_bytes, "image/webp")
ow, oh = Image.open(io.BytesIO(opt_bytes)).size
variants.append({
"name": "optimized", "object_key": opt_key,
@@ -198,10 +261,21 @@ def process_job(payload: dict) -> None:
"width": ow, "height": oh, "sha256": _sha256(opt_bytes),
})
storage.finalize_ready(attachment_id, pipeline_version, variants)
with _db_span("db.finalize_ready", {
"db.operation": "UPDATE",
"pipeline_version": pipeline_version,
"variants_count": len(variants),
}):
storage.finalize_ready(attachment_id, pipeline_version, variants)
# Cleanup staging — best-effort, не критичен для результата.
try:
s3.delete_object(staging_key)
with _s3_span("s3.delete_object", {
"aws.s3.key": staging_key,
"s3.operation": "delete_object",
"s3.variant": "staging",
}):
s3.delete_object(staging_key)
except Exception:
pass
@@ -210,7 +284,7 @@ def process_job(payload: dict) -> None:
def _extract_trace_context(properties) -> otel_context.Context:
"""Извлекаем W3C traceparent/tracestate из headers. Ошибки → пустой контекст."""
"""Извлекает W3C traceparent/tracestate из headers. Ошибка → пустой контекст."""
try:
headers = dict(properties.headers or {})
carrier = {
@@ -227,7 +301,7 @@ def _extract_trace_context(properties) -> otel_context.Context:
def _on_message(ch, method, properties, body):
"""Callback consumer. ack/nack — явно. Обёрнуто в consumer span."""
"""Callback consumer. ack/nack — явно. Оборачивает обработку в CONSUMER span."""
parent_ctx = _extract_trace_context(properties)
started = time.monotonic()
with _tracer.start_as_current_span(
@@ -266,7 +340,11 @@ def _on_message(ch, method, properties, body):
payload.get("attachment_id"), retry_count + 1, type(exc).__name__)
if retry_count + 1 >= MAX_ATTEMPTS:
try:
storage.finalize_failed(payload["attachment_id"], "retry_exhausted")
with _db_span("db.finalize_failed", {
"db.operation": "UPDATE",
"error_code": "retry_exhausted",
}):
storage.finalize_failed(payload["attachment_id"], "retry_exhausted")
except Exception:
pass
try: