Files
mtusi2026lab6/DEFENSE.md
T

13 KiB
Raw Blame History

Защита ЛР6: что я сделал

Ответ на первый вопрос преподавателя

«Я сохранил работающий мессенджер и фоновую обработку из ЛР5 и добавил наблюдаемость API и worker через OpenTelemetry. Приложения отправляют OTLP в отдельный Collector. Он передаёт metrics в Prometheus, logs в Loki, traces в Tempo, а Grafana запрашивает эти три хранилища. Конфиги и dashboard provisioning лежат в Git.

Я перенёс W3C trace context через PostgreSQL outbox и сообщение broker: upload, producer и consumer связаны одной причинной цепочкой, включая S3/DB операции. В логах есть request_id и trace_id, но нет паролей, Bearer, текста сообщений и изображений. Метрики используют route templates и ограниченные labels.

Для исследования я задал локальные SLO доступности API и готовности изображения, сделал multi-window burn-rate alerts и runbook. Отдельно воспроизвёл остановку worker, задержку БД и отказ telemetry backends. Выводы основаны на сохранённых сигналах: очередь отличается от DB lock, а отказ Tempo/Loki не должен становиться отказом мессенджера».

Схема сигналов

flowchart LR
 A[API × 2] -->|OTLP: metrics / logs / traces| C[OTel Collector]
 W[Worker] -->|OTLP| C
 D[Dispatcher] -->|OTLP, global queue / SLI| C
 C -->|Prometheus exporter| P[(Prometheus)]
 C -->|OTLP HTTP| L[(Loki)]
 C -->|OTLP HTTP| T[(Tempo)]
 P --> G[Grafana]
 L --> G
 T --> G
sequenceDiagram
 participant H as HTTP upload span
 participant D as PG job/outbox
 participant P as Dispatcher producer
 participant Q as Valkey Streams
 participant W as Worker consumer
 H->>D: persist traceparent/tracestate with job
 D->>P: read saved context
 P->>Q: inject producer context in job
 Q->>W: extract W3C context
 W->>W: consumer span → DB / transform / S3 spans
 Note over H,W: Один trace_id; разные span_id, правильная parent-child связь

Все четыре вопроса из README

Чем лог, метрика и trace отвечают на разные вопросы об одном инциденте? Метрика отвечает «сколько и насколько плохо»: RPS, error ratio, histogram latency, queue depth. Лог — «какое конкретное событие случилось»: job_started, processing_error, request с request_id. Trace — «где потрачено время и как связаны операции разных процессов»: HTTP → producer → consumer → S3/DB. Метрика помогает заметить проблему, trace локализует задержку, лог уточняет событие. Один сигнал не полностью заменяет остальные.

Почему chat_id в labels может исчерпать хранилище? Каждое новое значение labels создаёт отдельный time series; комбинации перемножаются. Миллионы chat_id × методы × статусы × replicas × histogram buckets дают огромное число серий, RAM/index/storage и медленные запросы. Поэтому label route — /chats/{id}/messages, а не URL с UUID. Request/attachment IDs допустимы в ограниченных технических logs/traces для поиска, но не в metric labels. Содержимое сообщений и credentials не экспортируются вообще.

Как очередь переносит причинную связь между процессами? Процессам не доступна общая goroutine-local context. API сериализует W3C traceparent/tracestate в durable job/outbox. Dispatcher извлекает context, начинает producer span, внедряет его context в сообщение. Worker извлекает context и начинает consumer span с parent producer. Повтор публикации может дать несколько producer/consumer spans той же логической работы — это нормальное отражение at-least-once. Job ID не заменяет trace context, а trace ID не является авторизацией.

Почему среднее latency не заменяет p99 и почему нельзя усреднять p99 реплик? Среднее скрывает редкие долгие запросы: многие10ms и несколько2s могут дать приемлемое среднее при неприятных таймаутах части клиентов. p99 —порог, быстрее которого99% наблюдений. Percentile нелинейный: реплики обрабатывают разные количества и распределения, среднее двух p99 не равно общему p99. Мы складываем histogram buckets по le всех реплик и только затем вызываем histogram_quantile(.99,...). Это оценка с точностью выбранных buckets, не список точных длительностей всех запросов.

Что добавлено в код

  • internal/telemetry: Go SDK providers, bounded async batch exporters для всех трёх сигналов, resource attrs, W3C propagation, low-cardinality instruments, структурный slog bridge.
  • server.go: server span, request_id, X-Trace-Id, method/route/status class + duration. Маршрут определяется до auth/SQL, чтобы ошибки зависимости не теряли endpoint template.
  • database.go / telemetry/db.go: реальные SQL-operation и pool.acquire spans. Текст SQL, параметры и ошибки с credentials в spans не записываются.
  • attachments.go / pipeline.go: saved queue context, producer/consumer spans, transform и S3 client spans, worker busy/capacity, attempt outcome/duration, end-to-end ready histogram.
  • Dispatcher экспортирует authoritative global outstanding count/oldest age и maturity-based ready SLI из PG, поэтому worker outage не замораживает очередь.
  • Process RSS/CPU и cgroup CPU/RAM: cgroup включает transform и cwebp дочерние процессы, parent process metrics отдельно. Один busy slot не означает один CPU core.

SLI, SLO и alert

SLI — измеренная доля хороших событий; SLO —цель и окно. Для локальной демонстрации: API99% бизнес-ответов ingress без5xx за rolling10m (включая503 самого LB, health выделены в отдельный backend);95% job versions ready≤5s. Failed и незавершённые старше deadline считаются bad, а не исчезают из выборки. Histogram готовых jobs отдельно показывает p50/p95/p99; queue lag —возраст ожидания/незавершения, processing duration —время исполнения. Это разные задержки.

Burn rate —скорость расхода error budget. Разрешено1% API errors, наблюдаем6% →6× burn. Два окна уменьшают чувствительность к одиночному всплеску и требуют сохраняющегося ухудшения; for задаёт выдержку условия. Быстрое правило10s+60s, медленное30s+120s; окна сознательно уменьшены для локального10m SLO. Факт firing/resolved проверяется через Prometheus API, внешних уведомлений нет.

Объяснение двух причин деградации

Worker остановлен. Upload ещё может получить202: durable staging/outbox работают. Увеличиваются depth/oldest age и bad readiness cohorts, jobs completed перестают расти; trace показывает producer без свежего consumer. Нужен worker/retry/recovery, а не увеличение API replicas.

БД блокирует chats. Health Ping может быть успешным, но бизнес-запрос ждёт SQL lock и достигает lock_timeout=1s (отдельный statement_timeout=2s). В trace длинный/error db.SELECT/UPDATE, в metrics растут HTTP duration/5xx. Это не доказательство CPU bottleneck HTTP handler. Снять блокировку и проверить реальные успешные writes/latency, не один health.

Telemetry backend недоступен. Collector не должен блокировать бизнес. Очереди и RAM ограничены, retries конечны; часть telemetry теряется и отражается в failed export counters. SQL business data/outbox сохраняются независимо. Потерянный trace нельзя достоверно «восстановить» искусственной картинкой после инцидента.

Что показать на защите

  1. make up, make test, provisioned Grafana dashboard с новыми данными.
  2. HTTP response X-Request-Id/X-Trace-Id → Loki metadata → Tempo trace; показать producer→consumer parent и реальные DB/S3 spans.
  3. Сравнить p50/p95/p99, business error ratio, jobs, depth/age, worker saturation, DB pool/waits, cgroup CPU/RAM.
  4. observability.py worker: firing→ready всех принятых файлов→resolved.
  5. observability.py db: краткий spike и длительная блокировка, saved trace с долгим SQL, измеренные detection/resolution.
  6. observability.py backend: бизнес-записи при остановленных Tempo/Loki, bounded Collector RAM и failed telemetry exports.
  7. По runbook объяснить причину из сохранённых наблюдений. Полный pipeline и его исходные гарантии — PIPELINE.md.

Частые дополнительные вопросы

Grafana хранит мои traces? Нет, она читает Tempo; logs читает Loki, metrics Prometheus. Grafana хранит свои настройки/dashboard, а Collector принимает/обрабатывает/пересылает.

Sampling100% гарантирует все spans? Нет: bounded SDK/Collector queues, export errors и backend outage дают потери.100% означает решение записывать spans при исправном тракте, а не exactly-once delivery telemetry.

Можно ли trace_id сделать label? Нет: один новый ID на запрос создаёт high cardinality. Он нужен для point lookup логов/trace, не для агрегации метрик.

Почему не усреднить готовность только завершённых jobs? Остановленный worker тогда «улучшит» результат: новых медленных завершений вообще нет. Поэтому deadline SLI использует matured cohorts и включает pending/failed как bad.

Чем pool waiting отличается от pool used? Used —сколько соединений занято сейчас. Waiting —незавершённые acquire calls, включая короткий захват свободного соединения. Отдельно empty-acquire counter и его rate показывают число/частоту попыток, столкнувшихся с отсутствием свободного соединения; это cumulative wait events, а не мгновенное число goroutines. Задержку конкретного захвата показывает db.pool.acquire span.

Можно ли по одному графику заключить, что виновата БД? Нет. Нужна цепочка свидетельств: длительность/error конкретного DB child span, pool metrics, совпадение по времени с HTTP5xx и восстановление после снятия причины. Raw SQL/текст сообщения для этого не нужны.

Почему нет глобальной HA? Наблюдаемость помогает диагностировать, но не создаёт дополнительные storage nodes, replicas БД или второй host. Учебный single-host стенд сохраняет прежние SPOF.