Files

3.6 KiB
Raw Permalink Blame History

Диагностика lab6

Автор: Каменский Андрей, БПИ2301.

QueueLagGrowing

Условие: есть принятая незавершённая работа, возраст старейшей больше 15 секунд не менее 5 секунд. Источник — PostgreSQL jobs, включая ещё не опубликованный outbox.

  1. Grafana: проверить queue depth и oldest age. Рост обоих при работающем API означает накопление фоновой работы, а не медленный HTTP upload.
  2. Loki: найти job.published, затем job.started/job.completed. Отсутствие свежих consumer events при наличии публикаций указывает на worker/доставку.
  3. Tempo: открыть trace upload. Если есть queue.publish, а consumer отсутствует, обработка не началась. Если есть consumer со статусом ERROR и s3.GET — проверить S3.
  4. Проверить процесс docker compose ps worker, восстановить docker compose start worker.
  5. Убедиться, что прежний attachment_id стал ready, backlog/age упали до 0 и alert resolved.

worker.capacity отражает конфигурацию, а не самостоятельный heartbeat: последнее значение не доказывает, что процесс всё ещё жив.

ApiHighErrorRate

Условие: 5xx / все бизнес-запросы > 5% за 30 секунд, минимум 3 запроса, условие сохраняется 5 секунд. Health и 4xx в numerator не входят.

  1. Grafana: проверить 5xx ratio и p95/p99, DB pool used/waiting, CPU.
  2. Loki: найти http.completed со status=503 и его trace_id; найти db.error.
  3. Tempo: если длительный db.INSERT заканчивается ERROR, проблема в DB-операции. Это отличается от длительного image.transform в worker или HTTP без DB-задержки.
  4. Проверить блокировки/доступность PostgreSQL; снять учебную блокировку, восстановить БД.
  5. Отправить сообщение, проверить 201. Дождаться ухода ошибок из окна 30 секунд и отсутствия alertstate=firing. Prometheus хранит историю ALERTS для просмотра.

Backend telemetry недоступен

Остановка Tempo не должна ломать сообщения или создание вариантов изображения. Collector продолжает metrics/logs, в traces exporter растут failures/queue. Максимум 64 batch в очереди exporter, retry ограничен 10 секундами. По исчерпании данные отбрасываются; это допустимая потеря наблюдений, не потеря приложения.

Проверить Collector self metrics на localhost:8889/metrics: otelcol_exporter_queue_size, otelcol_exporter_queue_capacity, otelcol_exporter_send_failed_spans_total и otelcol_exporter_enqueue_failed_spans_total. Конкретное имя/суффикс зависит от закреплённого Collector; исходные строки сохраняет тест. Восстановить docker compose start tempo, выполнить свежий запрос и найти новый trace.