Files

47 lines
3.6 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Диагностика lab6
Автор: Каменский Андрей, БПИ2301.
## QueueLagGrowing
Условие: есть принятая незавершённая работа, возраст старейшей больше 15 секунд
не менее 5 секунд. Источник — PostgreSQL jobs, включая ещё не опубликованный outbox.
1. Grafana: проверить queue depth и oldest age. Рост обоих при работающем API
означает накопление фоновой работы, а не медленный HTTP upload.
2. Loki: найти job.published, затем job.started/job.completed. Отсутствие свежих
consumer events при наличии публикаций указывает на worker/доставку.
3. Tempo: открыть trace upload. Если есть queue.publish, а consumer отсутствует,
обработка не началась. Если есть consumer со статусом ERROR и s3.GET — проверить S3.
4. Проверить процесс `docker compose ps worker`, восстановить `docker compose start worker`.
5. Убедиться, что прежний attachment_id стал ready, backlog/age упали до 0 и alert resolved.
worker.capacity отражает конфигурацию, а не самостоятельный heartbeat: последнее
значение не доказывает, что процесс всё ещё жив.
## ApiHighErrorRate
Условие: 5xx / все бизнес-запросы > 5% за 30 секунд, минимум 3 запроса,
условие сохраняется 5 секунд. Health и 4xx в numerator не входят.
1. Grafana: проверить 5xx ratio и p95/p99, DB pool used/waiting, CPU.
2. Loki: найти http.completed со status=503 и его trace_id; найти db.error.
3. Tempo: если длительный db.INSERT заканчивается ERROR, проблема в DB-операции.
Это отличается от длительного image.transform в worker или HTTP без DB-задержки.
4. Проверить блокировки/доступность PostgreSQL; снять учебную блокировку, восстановить БД.
5. Отправить сообщение, проверить 201. Дождаться ухода ошибок из окна 30 секунд
и отсутствия alertstate=firing. Prometheus хранит историю ALERTS для просмотра.
## Backend telemetry недоступен
Остановка Tempo не должна ломать сообщения или создание вариантов изображения.
Collector продолжает metrics/logs, в traces exporter растут failures/queue.
Максимум 64 batch в очереди exporter, retry ограничен 10 секундами. По исчерпании
данные отбрасываются; это допустимая потеря наблюдений, не потеря приложения.
Проверить Collector self metrics на localhost:8889/metrics:
`otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`,
`otelcol_exporter_send_failed_spans_total` и `otelcol_exporter_enqueue_failed_spans_total`.
Конкретное имя/суффикс зависит от закреплённого Collector; исходные строки сохраняет тест.
Восстановить `docker compose start tempo`, выполнить свежий запрос и найти новый trace.