4.7 KiB
Attachment pipeline SLO
Цель и сигналы
Объект контроля — время от durable acceptance изображения до состояния ready. Цель — не менее 99% jobs завершаются ready не позднее 30 секунд за скользящие 30 дней. failed и завершение позже 30 секунд расходуют error budget.
Основные сигналы:
messenger_attachment_worker_jobs_total{job_type,result}— исходы worker;messenger_attachment_worker_job_duration_seconds_bucket{job_type,result}— время обработки;messenger_attachment_time_to_ready_seconds_bucket— end-to-end время;messenger_attachment_jobs_count{status}— состояния jobs в PostgreSQL;messenger_attachment_jobs_oldest_age_seconds{status}— возраст старейшей job;messenger_attachment_worker_jobs_in_flightиmessenger_attachment_worker_capacity— насыщение worker;messenger_outbox_pending— задержка до публикации;- Redis Stream lag и PEL — доставка и неподтверждённые сообщения.
Queue depth не заменяет processing latency: очередь может быть короткой, но содержать одну очень старую job.
Диагностика: metrics → trace → logs
-
В Grafana открыть dashboard Messenger Lab 6 / Attachment pipeline и выбрать диапазон инцидента.
-
Определить место задержки:
- растёт
messenger_outbox_pending— проблема до публикации в broker; - растут stream lag и
queued— worker не успевает или недоступен; - растут PEL и
processing— delivery получена, но не завершена; - растёт
failed— постоянные ошибки или исчерпаны retry; - busy равен capacity — worker насыщен.
- растёт
-
В Explore → Tempo найти upload по route или worker consumer span:
{ resource.service.name = "messenger-api" && span.http.route = "/api/v1/chats/{chat_id}/attachments" }{ resource.service.name = "messenger-worker" && name = "attachment.process" } -
В trace пройти цепочку
HTTP upload → outbox publish → Redis consume → S3 variants → PostgreSQL ready. Проверить producer/consumer связь и retry spans. Техническийattachment_idдопустим только как span/log attribute синтетического стенда, но не как metric label. -
Перейти из выбранного span в Loki или выполнить:
{service_name="messenger-worker"} | json | trace_id="<trace_id>" -
Сверить в логе
event,job_type,attempt,result,trace_idиspan_id; в span проверитьjob.outcome. Payload envelope, изображение и credentials не логируются.
Проверка alert
Короткая деградация:
ENV_FILE=lab6.env.example scripts/incident-worker.sh short
Длительная деградация:
ENV_FILE=lab6.env.example scripts/incident-worker.sh long
Ожидаемая последовательность:
worker up, backlog около нуля
→ worker остановлен
→ queued и oldest age растут
→ short: AttachmentWorkerUnavailable firing
→ long: AttachmentQueueBacklogGrowing firing
→ worker запущен
→ backlog дренируется
→ все принятые attachments достигают ready
→ alert resolved
Каждый сценарий восстанавливает worker через trap и сохраняет evidence без session token и raw payload.
Действия
- Если worker
up=0, восстановить worker и наблюдать скорость дренирования. - Если worker доступен, но busy равно capacity, проверить S3/DB spans до масштабирования concurrency.
- Если растёт outbox, проверить dispatcher и PostgreSQL lease; Redis worker здесь ещё не причина.
- Если растёт PEL, проверить heartbeat, lease expiry и reclaim.
- Для
failedопределить permanent/transient error по логу и trace. Replay выполнять только после устранения причины. - После восстановления проверить backlog, oldest age,
failed, firing alerts и terminal state каждого синтетического attachment.