# Диагностика lab6 Автор: Каменский Андрей, БПИ2301. ## QueueLagGrowing Условие: есть принятая незавершённая работа, возраст старейшей больше 15 секунд не менее 5 секунд. Источник — PostgreSQL jobs, включая ещё не опубликованный outbox. 1. Grafana: проверить queue depth и oldest age. Рост обоих при работающем API означает накопление фоновой работы, а не медленный HTTP upload. 2. Loki: найти job.published, затем job.started/job.completed. Отсутствие свежих consumer events при наличии публикаций указывает на worker/доставку. 3. Tempo: открыть trace upload. Если есть queue.publish, а consumer отсутствует, обработка не началась. Если есть consumer со статусом ERROR и s3.GET — проверить S3. 4. Проверить процесс `docker compose ps worker`, восстановить `docker compose start worker`. 5. Убедиться, что прежний attachment_id стал ready, backlog/age упали до 0 и alert resolved. worker.capacity отражает конфигурацию, а не самостоятельный heartbeat: последнее значение не доказывает, что процесс всё ещё жив. ## ApiHighErrorRate Условие: 5xx / все бизнес-запросы > 5% за 30 секунд, минимум 3 запроса, условие сохраняется 5 секунд. Health и 4xx в numerator не входят. 1. Grafana: проверить 5xx ratio и p95/p99, DB pool used/waiting, CPU. 2. Loki: найти http.completed со status=503 и его trace_id; найти db.error. 3. Tempo: если длительный db.INSERT заканчивается ERROR, проблема в DB-операции. Это отличается от длительного image.transform в worker или HTTP без DB-задержки. 4. Проверить блокировки/доступность PostgreSQL; снять учебную блокировку, восстановить БД. 5. Отправить сообщение, проверить 201. Дождаться ухода ошибок из окна 30 секунд и отсутствия alertstate=firing. Prometheus хранит историю ALERTS для просмотра. ## Backend telemetry недоступен Остановка Tempo не должна ломать сообщения или создание вариантов изображения. Collector продолжает metrics/logs, в traces exporter растут failures/queue. Максимум 64 batch в очереди exporter, retry ограничен 10 секундами. По исчерпании данные отбрасываются; это допустимая потеря наблюдений, не потеря приложения. Проверить Collector self metrics на localhost:8889/metrics: `otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`, `otelcol_exporter_send_failed_spans_total` и `otelcol_exporter_enqueue_failed_spans_total`. Конкретное имя/суффикс зависит от закреплённого Collector; исходные строки сохраняет тест. Восстановить `docker compose start tempo`, выполнить свежий запрос и найти новый trace.