Исправила замечание 3 (порядок инструментации FastAPI): SERVER span теперь внешний и продолжает входной traceparent. Добавила дочерние S3/DB spans внутри job.consume для разложения задержки по зависимостям
This commit is contained in:
+25
-12
@@ -12,13 +12,14 @@ from fastapi.responses import JSONResponse
|
||||
from starlette.exceptions import HTTPException as StarletteHTTPException
|
||||
import psycopg
|
||||
import uvicorn
|
||||
from opentelemetry import trace as _otel_trace
|
||||
from opentelemetry.instrumentation.fastapi import FastAPIInstrumentor
|
||||
from .api import attachments, auth, chats, health, messages, users
|
||||
from .storage.db import init_pool, close_pool
|
||||
from .telemetry import init_telemetry, INSTANCE_ID, meter, tracer
|
||||
|
||||
|
||||
# Базовый логгер: реальный формат выставит telemetry.install_log_format()
|
||||
# Базовый логгер: реальный формат выставляет telemetry.install_log_format()
|
||||
# при вызове init_telemetry(). Здесь — минимальный fallback для импорта.
|
||||
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
|
||||
logger = logging.getLogger("app")
|
||||
@@ -47,7 +48,6 @@ app = FastAPI(
|
||||
|
||||
# OTel инициализация и FastAPI auto-instrumentation.
|
||||
init_telemetry("messenger-api", "1.6.0")
|
||||
FastAPIInstrumentor.instrument_app(app)
|
||||
|
||||
|
||||
# --- Метрики HTTP ---
|
||||
@@ -62,7 +62,7 @@ _http_hist = meter("messenger").create_histogram(
|
||||
unit="s",
|
||||
)
|
||||
|
||||
# Хелпер: убираем реальные UUID из маршрута → route template.
|
||||
# Фильтр: убираем реальные UUID из маршрута → route template.
|
||||
import re as _re
|
||||
_ROUTE_UUID_RE = _re.compile(r"[0-9a-fA-F]{8}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{4}-[0-9a-fA-F]{12}")
|
||||
|
||||
@@ -81,26 +81,32 @@ def custom_openapi():
|
||||
|
||||
app.openapi = custom_openapi
|
||||
|
||||
# Отдельный tracer для собственного span в middleware. Появляется как
|
||||
# child к server span FastAPI (он активен во время обработки запроса).
|
||||
# Отдельный tracer для событийного span в middleware. Он создаётся как child
|
||||
# SERVER span, который создаёт OTel FastAPI instrumentation ниже.
|
||||
# ВАЖНО: FastAPIInstrumentor.instrument_app(app) вызывается ПОСЛЕ объявления
|
||||
# middleware, поэтому OTel ASGI middleware оказывается внешним: он извлекает
|
||||
# W3C traceparent из входящих headers, продолжает внешний trace и создаёт
|
||||
# SERVER span. Наш middleware выполняется внутри него, создаёт http.request
|
||||
# как INTERNAL child, и логи/метрики берут корректный trace_id.
|
||||
_http_tracer = tracer("app.http")
|
||||
|
||||
|
||||
@app.middleware("http")
|
||||
async def observability_middleware(request: Request, call_next):
|
||||
"""X-Request-Id и X-Instance-Id во всех ответах + структурный лог + метрики.
|
||||
"""X-Request-Id и X-Instance-Id во всех ответах + структурированный лог + метрики.
|
||||
|
||||
Лог event=http пишется ВНУТРИ активного span (`http.request`), иначе
|
||||
после await call_next() span FastAPI уже закрыт, и в лог попадёт
|
||||
trace_id=000… (это ломало корреляцию лог↔trace в Loki).
|
||||
Лог event=http пишется ВНУТРИ активного span (`http.request`), он
|
||||
child SERVER span от OTel auto-instrumentation, поэтому trace_id
|
||||
корректно связывает лог с внешним trace.
|
||||
"""
|
||||
request_id = request.headers.get("X-Request-Id") or uuid.uuid4().hex
|
||||
request.state.request_id = request_id
|
||||
started = time.monotonic()
|
||||
route = _route_template(request.url.path)
|
||||
|
||||
# Свой span, дочерний к FastAPI server span. Внутри него — вся обработка
|
||||
# запроса и запись структурированного лога с настоящим trace_id.
|
||||
# http.request — INTERNAL child текущего (SERVER) span, созданного OTel
|
||||
# auto-instrumentation. Parent берётся из активного контекста: входящий
|
||||
# traceparent уже извлечён ASGI middleware.
|
||||
with _http_tracer.start_as_current_span(
|
||||
"http.request",
|
||||
attributes={
|
||||
@@ -140,7 +146,14 @@ async def observability_middleware(request: Request, call_next):
|
||||
return response
|
||||
|
||||
|
||||
# --- Обработчики ошибок (без изменений с lab5) ---
|
||||
# FastAPI auto-instrumentation ДОЛЖНА быть установлена ПОСЛЕ пользовательского
|
||||
# @app.middleware("http"), чтобы оказаться внешним middleware и создать SERVER
|
||||
# span с корректным parent из входного traceparent. Этот вызов также
|
||||
# инструментирует httpx/requests client-вызовы внутри приложения.
|
||||
FastAPIInstrumentor.instrument_app(app)
|
||||
|
||||
|
||||
# --- Обработчики ошибок (без изменений) ---
|
||||
_ERROR_CODES = {
|
||||
400: "invalid_request",
|
||||
401: "unauthorized",
|
||||
|
||||
+98
-20
@@ -1,8 +1,8 @@
|
||||
"""Worker lab5/lab6: обработка вложений из RabbitMQ с трейсингом.
|
||||
|
||||
- at-least-once, идемпотентно, retry через TTL-очереди, DLQ.
|
||||
- at-least-once, идемпотентно, retry через TTL-очередь, DLQ.
|
||||
- OTel: consumer span на каждый job, извлечение trace context из заголовков
|
||||
сообщения (W3C traceparent/tracestate).
|
||||
сообщения (W3C traceparent/tracestate), child spans на S3/DB операции.
|
||||
- Метрики: jobs_processed_total{outcome}, job_processing_duration_seconds.
|
||||
"""
|
||||
import io
|
||||
@@ -28,8 +28,6 @@ from .storage.rabbit import (
|
||||
)
|
||||
from .telemetry import init_telemetry, meter
|
||||
|
||||
# Базовый логгер настраивается в telemetry.install_log_format() при старте
|
||||
# init_telemetry: trace_id/span_id подставляются фильтром.
|
||||
logging.basicConfig(level=logging.INFO, stream=sys.stdout)
|
||||
log = logging.getLogger("worker")
|
||||
|
||||
@@ -56,6 +54,30 @@ _jobs_hist = _meter.create_histogram(
|
||||
)
|
||||
|
||||
|
||||
# --- span helpers: дочерние операции S3/DB ---
|
||||
#
|
||||
# ВАЖНО: атрибуты, содержащие точку (`db.operation`, `aws.s3.key` и т.п.),
|
||||
# нельзя передавать как kwargs — Python-идентификатор с точкой невозможен.
|
||||
# Поэтому оба хелпера принимают dict атрибутов.
|
||||
|
||||
def _s3_span(name: str, attrs: dict):
|
||||
"""Context manager для S3-операции (CLIENT span внутри job.consume)."""
|
||||
return _tracer.start_as_current_span(
|
||||
name,
|
||||
kind=SpanKind.CLIENT,
|
||||
attributes={"messaging.system": "s3", **attrs},
|
||||
)
|
||||
|
||||
|
||||
def _db_span(name: str, attrs: dict):
|
||||
"""Context manager для DB-операции (CLIENT span внутри job.consume)."""
|
||||
return _tracer.start_as_current_span(
|
||||
name,
|
||||
kind=SpanKind.CLIENT,
|
||||
attributes={"db.system": "postgresql", **attrs},
|
||||
)
|
||||
|
||||
|
||||
def _handle_sigterm(signum, frame):
|
||||
global _stop
|
||||
log.info("event=sigterm_received signal=%s", signum)
|
||||
@@ -118,8 +140,26 @@ def _sha256(data: bytes) -> str:
|
||||
return hashlib.sha256(data).hexdigest()
|
||||
|
||||
|
||||
def _s3_put_variant(chat_id, att_id, name: str, data: bytes, ctype: str) -> str:
|
||||
"""Общий путь: S3 PUT варианта внутри CLIENT span."""
|
||||
key = s3.variant_key(chat_id, att_id, name)
|
||||
with _s3_span("s3.put_object", {
|
||||
"aws.s3.key": key,
|
||||
"s3.operation": "put_object",
|
||||
"s3.variant": name,
|
||||
"s3.content_type": ctype,
|
||||
"s3.size_bytes": len(data),
|
||||
}):
|
||||
s3.put_bytes(key, data, ctype)
|
||||
return key
|
||||
|
||||
|
||||
def process_job(payload: dict) -> None:
|
||||
"""Обработка одного job. Идемпотентна через finalize_ready."""
|
||||
"""Обработка одного job. Идемпотентна через finalize_ready.
|
||||
|
||||
Внутри активного job.consume (CONSUMER) span создаются дочерние CLIENT
|
||||
spans для S3 и DB, чтобы разложить задержку обработки по зависимостям.
|
||||
"""
|
||||
attachment_id = payload["attachment_id"]
|
||||
pipeline_version = payload.get("pipeline_version", 1)
|
||||
job_id = payload["job_id"]
|
||||
@@ -127,7 +167,12 @@ def process_job(payload: dict) -> None:
|
||||
log.info("event=job_received job_id=%s attachment_id=%s attempt=%s",
|
||||
job_id, attachment_id, payload.get("attempt", 1))
|
||||
|
||||
if not storage.claim_processing(attachment_id, LEASE_SECONDS):
|
||||
with _db_span("db.claim_processing", {
|
||||
"db.operation": "UPDATE",
|
||||
"attachment_id": str(attachment_id),
|
||||
}):
|
||||
claimed = storage.claim_processing(attachment_id, LEASE_SECONDS)
|
||||
if not claimed:
|
||||
log.info("event=job_skipped_already_done attachment_id=%s", attachment_id)
|
||||
return
|
||||
|
||||
@@ -141,7 +186,12 @@ def process_job(payload: dict) -> None:
|
||||
return
|
||||
|
||||
try:
|
||||
raw, ctype = s3.get_object(staging_key)
|
||||
with _s3_span("s3.get_object", {
|
||||
"aws.s3.key": staging_key,
|
||||
"s3.operation": "get_object",
|
||||
"s3.variant": "staging",
|
||||
}):
|
||||
raw, ctype = s3.get_object(staging_key)
|
||||
except Exception as exc: # noqa: BLE001
|
||||
raise RuntimeError("staging_unavailable") from exc
|
||||
|
||||
@@ -149,14 +199,27 @@ def process_job(payload: dict) -> None:
|
||||
img = Image.open(io.BytesIO(raw))
|
||||
img.load()
|
||||
except Exception as exc: # noqa: BLE001
|
||||
storage.finalize_failed(attachment_id, "invalid_image")
|
||||
with _db_span("db.finalize_failed", {
|
||||
"db.operation": "UPDATE",
|
||||
"error_code": "invalid_image",
|
||||
}):
|
||||
storage.finalize_failed(attachment_id, "invalid_image")
|
||||
log.warning("event=invalid_image attachment_id=%s type=%s",
|
||||
attachment_id, type(exc).__name__)
|
||||
return
|
||||
|
||||
img_rgb = _to_rgb_white(img)
|
||||
|
||||
# Финал: S3 PUT оригинала
|
||||
final_key = s3.original_key(att.chat_id, att.id)
|
||||
s3.put_bytes(final_key, raw, att.content_type)
|
||||
with _s3_span("s3.put_object", {
|
||||
"aws.s3.key": final_key,
|
||||
"s3.operation": "put_object",
|
||||
"s3.variant": "original",
|
||||
"s3.content_type": att.content_type,
|
||||
"s3.size_bytes": len(raw),
|
||||
}):
|
||||
s3.put_bytes(final_key, raw, att.content_type)
|
||||
|
||||
variants = [{
|
||||
"name": "original",
|
||||
@@ -168,9 +231,9 @@ def process_job(payload: dict) -> None:
|
||||
"sha256": _sha256(raw),
|
||||
}]
|
||||
|
||||
# Thumbnail
|
||||
_, thumb_bytes = _make_thumbnail(img_rgb)
|
||||
thumb_key = s3.variant_key(att.chat_id, att.id, "thumbnail")
|
||||
s3.put_bytes(thumb_key, thumb_bytes, "image/jpeg")
|
||||
thumb_key = _s3_put_variant(att.chat_id, att.id, "thumbnail", thumb_bytes, "image/jpeg")
|
||||
tw, th = Image.open(io.BytesIO(thumb_bytes)).size
|
||||
variants.append({
|
||||
"name": "thumbnail", "object_key": thumb_key,
|
||||
@@ -178,9 +241,9 @@ def process_job(payload: dict) -> None:
|
||||
"width": tw, "height": th, "sha256": _sha256(thumb_bytes),
|
||||
})
|
||||
|
||||
# Crop
|
||||
_, crop_bytes = _make_crop(img_rgb)
|
||||
crop_key = s3.variant_key(att.chat_id, att.id, "crop")
|
||||
s3.put_bytes(crop_key, crop_bytes, "image/jpeg")
|
||||
crop_key = _s3_put_variant(att.chat_id, att.id, "crop", crop_bytes, "image/jpeg")
|
||||
cw, ch = Image.open(io.BytesIO(crop_bytes)).size
|
||||
variants.append({
|
||||
"name": "crop", "object_key": crop_key,
|
||||
@@ -188,9 +251,9 @@ def process_job(payload: dict) -> None:
|
||||
"width": cw, "height": ch, "sha256": _sha256(crop_bytes),
|
||||
})
|
||||
|
||||
# Optimized
|
||||
_, opt_bytes = _make_optimized(img_rgb)
|
||||
opt_key = s3.variant_key(att.chat_id, att.id, "optimized")
|
||||
s3.put_bytes(opt_key, opt_bytes, "image/webp")
|
||||
opt_key = _s3_put_variant(att.chat_id, att.id, "optimized", opt_bytes, "image/webp")
|
||||
ow, oh = Image.open(io.BytesIO(opt_bytes)).size
|
||||
variants.append({
|
||||
"name": "optimized", "object_key": opt_key,
|
||||
@@ -198,10 +261,21 @@ def process_job(payload: dict) -> None:
|
||||
"width": ow, "height": oh, "sha256": _sha256(opt_bytes),
|
||||
})
|
||||
|
||||
storage.finalize_ready(attachment_id, pipeline_version, variants)
|
||||
with _db_span("db.finalize_ready", {
|
||||
"db.operation": "UPDATE",
|
||||
"pipeline_version": pipeline_version,
|
||||
"variants_count": len(variants),
|
||||
}):
|
||||
storage.finalize_ready(attachment_id, pipeline_version, variants)
|
||||
|
||||
# Cleanup staging — best-effort, не критичен для результата.
|
||||
try:
|
||||
s3.delete_object(staging_key)
|
||||
with _s3_span("s3.delete_object", {
|
||||
"aws.s3.key": staging_key,
|
||||
"s3.operation": "delete_object",
|
||||
"s3.variant": "staging",
|
||||
}):
|
||||
s3.delete_object(staging_key)
|
||||
except Exception:
|
||||
pass
|
||||
|
||||
@@ -210,7 +284,7 @@ def process_job(payload: dict) -> None:
|
||||
|
||||
|
||||
def _extract_trace_context(properties) -> otel_context.Context:
|
||||
"""Извлекаем W3C traceparent/tracestate из headers. Ошибки → пустой контекст."""
|
||||
"""Извлекает W3C traceparent/tracestate из headers. Ошибка → пустой контекст."""
|
||||
try:
|
||||
headers = dict(properties.headers or {})
|
||||
carrier = {
|
||||
@@ -227,7 +301,7 @@ def _extract_trace_context(properties) -> otel_context.Context:
|
||||
|
||||
|
||||
def _on_message(ch, method, properties, body):
|
||||
"""Callback consumer. ack/nack — явно. Обёрнуто в consumer span."""
|
||||
"""Callback consumer. ack/nack — явно. Оборачивает обработку в CONSUMER span."""
|
||||
parent_ctx = _extract_trace_context(properties)
|
||||
started = time.monotonic()
|
||||
with _tracer.start_as_current_span(
|
||||
@@ -266,7 +340,11 @@ def _on_message(ch, method, properties, body):
|
||||
payload.get("attachment_id"), retry_count + 1, type(exc).__name__)
|
||||
if retry_count + 1 >= MAX_ATTEMPTS:
|
||||
try:
|
||||
storage.finalize_failed(payload["attachment_id"], "retry_exhausted")
|
||||
with _db_span("db.finalize_failed", {
|
||||
"db.operation": "UPDATE",
|
||||
"error_code": "retry_exhausted",
|
||||
}):
|
||||
storage.finalize_failed(payload["attachment_id"], "retry_exhausted")
|
||||
except Exception:
|
||||
pass
|
||||
try:
|
||||
|
||||
Reference in New Issue
Block a user