Files
mtusi2026lab6/monitoring/runbooks/attachment-pipeline.md
T

4.7 KiB
Raw Blame History

Attachment pipeline SLO

Цель и сигналы

Объект контроля — время от durable acceptance изображения до состояния ready. Цель — не менее 99% jobs завершаются ready не позднее 30 секунд за скользящие 30 дней. failed и завершение позже 30 секунд расходуют error budget.

Основные сигналы:

  • messenger_attachment_worker_jobs_total{job_type,result} — исходы worker;
  • messenger_attachment_worker_job_duration_seconds_bucket{job_type,result} — время обработки;
  • messenger_attachment_time_to_ready_seconds_bucket — end-to-end время;
  • messenger_attachment_jobs_count{status} — состояния jobs в PostgreSQL;
  • messenger_attachment_jobs_oldest_age_seconds{status} — возраст старейшей job;
  • messenger_attachment_worker_jobs_in_flight и messenger_attachment_worker_capacity — насыщение worker;
  • messenger_outbox_pending — задержка до публикации;
  • Redis Stream lag и PEL — доставка и неподтверждённые сообщения.

Queue depth не заменяет processing latency: очередь может быть короткой, но содержать одну очень старую job.

Диагностика: metrics → trace → logs

  1. В Grafana открыть dashboard Messenger Lab 6 / Attachment pipeline и выбрать диапазон инцидента.

  2. Определить место задержки:

    • растёт messenger_outbox_pending — проблема до публикации в broker;
    • растут stream lag и queued — worker не успевает или недоступен;
    • растут PEL и processing — delivery получена, но не завершена;
    • растёт failed — постоянные ошибки или исчерпаны retry;
    • busy равен capacity — worker насыщен.
  3. В Explore → Tempo найти upload по route или worker consumer span:

    { resource.service.name = "messenger-api" && span.http.route = "/api/v1/chats/{chat_id}/attachments" }
    
    { resource.service.name = "messenger-worker" && name = "attachment.process" }
    
  4. В trace пройти цепочку HTTP upload → outbox publish → Redis consume → S3 variants → PostgreSQL ready. Проверить producer/consumer связь и retry spans. Технический attachment_id допустим только как span/log attribute синтетического стенда, но не как metric label.

  5. Перейти из выбранного span в Loki или выполнить:

    {service_name="messenger-worker"} | json | trace_id="<trace_id>"
    
  6. Сверить в логе event, job_type, attempt, result, trace_id и span_id; в span проверить job.outcome. Payload envelope, изображение и credentials не логируются.

Проверка alert

Короткая деградация:

ENV_FILE=lab6.env.example scripts/incident-worker.sh short

Длительная деградация:

ENV_FILE=lab6.env.example scripts/incident-worker.sh long

Ожидаемая последовательность:

worker up, backlog около нуля
→ worker остановлен
→ queued и oldest age растут
→ short: AttachmentWorkerUnavailable firing
→ long: AttachmentQueueBacklogGrowing firing
→ worker запущен
→ backlog дренируется
→ все принятые attachments достигают ready
→ alert resolved

Каждый сценарий восстанавливает worker через trap и сохраняет evidence без session token и raw payload.

Действия

  1. Если worker up=0, восстановить worker и наблюдать скорость дренирования.
  2. Если worker доступен, но busy равно capacity, проверить S3/DB spans до масштабирования concurrency.
  3. Если растёт outbox, проверить dispatcher и PostgreSQL lease; Redis worker здесь ещё не причина.
  4. Если растёт PEL, проверить heartbeat, lease expiry и reclaim.
  5. Для failed определить permanent/transient error по логу и trace. Replay выполнять только после устранения причины.
  6. После восстановления проверить backlog, oldest age, failed, firing alerts и terminal state каждого синтетического attachment.