3.6 KiB
Диагностика lab6
Автор: Каменский Андрей, БПИ2301.
QueueLagGrowing
Условие: есть принятая незавершённая работа, возраст старейшей больше 15 секунд не менее 5 секунд. Источник — PostgreSQL jobs, включая ещё не опубликованный outbox.
- Grafana: проверить queue depth и oldest age. Рост обоих при работающем API означает накопление фоновой работы, а не медленный HTTP upload.
- Loki: найти job.published, затем job.started/job.completed. Отсутствие свежих consumer events при наличии публикаций указывает на worker/доставку.
- Tempo: открыть trace upload. Если есть queue.publish, а consumer отсутствует, обработка не началась. Если есть consumer со статусом ERROR и s3.GET — проверить S3.
- Проверить процесс
docker compose ps worker, восстановитьdocker compose start worker. - Убедиться, что прежний attachment_id стал ready, backlog/age упали до 0 и alert resolved.
worker.capacity отражает конфигурацию, а не самостоятельный heartbeat: последнее значение не доказывает, что процесс всё ещё жив.
ApiHighErrorRate
Условие: 5xx / все бизнес-запросы > 5% за 30 секунд, минимум 3 запроса, условие сохраняется 5 секунд. Health и 4xx в numerator не входят.
- Grafana: проверить 5xx ratio и p95/p99, DB pool used/waiting, CPU.
- Loki: найти http.completed со status=503 и его trace_id; найти db.error.
- Tempo: если длительный db.INSERT заканчивается ERROR, проблема в DB-операции. Это отличается от длительного image.transform в worker или HTTP без DB-задержки.
- Проверить блокировки/доступность PostgreSQL; снять учебную блокировку, восстановить БД.
- Отправить сообщение, проверить 201. Дождаться ухода ошибок из окна 30 секунд и отсутствия alertstate=firing. Prometheus хранит историю ALERTS для просмотра.
Backend telemetry недоступен
Остановка Tempo не должна ломать сообщения или создание вариантов изображения. Collector продолжает metrics/logs, в traces exporter растут failures/queue. Максимум 64 batch в очереди exporter, retry ограничен 10 секундами. По исчерпании данные отбрасываются; это допустимая потеря наблюдений, не потеря приложения.
Проверить Collector self metrics на localhost:8889/metrics:
otelcol_exporter_queue_size, otelcol_exporter_queue_capacity,
otelcol_exporter_send_failed_spans_total и otelcol_exporter_enqueue_failed_spans_total.
Конкретное имя/суффикс зависит от закреплённого Collector; исходные строки сохраняет тест.
Восстановить docker compose start tempo, выполнить свежий запрос и найти новый trace.