forked from mtusi2026/mtusi2026lab6
47 lines
3.6 KiB
Markdown
47 lines
3.6 KiB
Markdown
# Диагностика lab6
|
||
|
||
Автор: Каменский Андрей, БПИ2301.
|
||
|
||
## QueueLagGrowing
|
||
|
||
Условие: есть принятая незавершённая работа, возраст старейшей больше 15 секунд
|
||
не менее 5 секунд. Источник — PostgreSQL jobs, включая ещё не опубликованный outbox.
|
||
|
||
1. Grafana: проверить queue depth и oldest age. Рост обоих при работающем API
|
||
означает накопление фоновой работы, а не медленный HTTP upload.
|
||
2. Loki: найти job.published, затем job.started/job.completed. Отсутствие свежих
|
||
consumer events при наличии публикаций указывает на worker/доставку.
|
||
3. Tempo: открыть trace upload. Если есть queue.publish, а consumer отсутствует,
|
||
обработка не началась. Если есть consumer со статусом ERROR и s3.GET — проверить S3.
|
||
4. Проверить процесс `docker compose ps worker`, восстановить `docker compose start worker`.
|
||
5. Убедиться, что прежний attachment_id стал ready, backlog/age упали до 0 и alert resolved.
|
||
|
||
worker.capacity отражает конфигурацию, а не самостоятельный heartbeat: последнее
|
||
значение не доказывает, что процесс всё ещё жив.
|
||
|
||
## ApiHighErrorRate
|
||
|
||
Условие: 5xx / все бизнес-запросы > 5% за 30 секунд, минимум 3 запроса,
|
||
условие сохраняется 5 секунд. Health и 4xx в numerator не входят.
|
||
|
||
1. Grafana: проверить 5xx ratio и p95/p99, DB pool used/waiting, CPU.
|
||
2. Loki: найти http.completed со status=503 и его trace_id; найти db.error.
|
||
3. Tempo: если длительный db.INSERT заканчивается ERROR, проблема в DB-операции.
|
||
Это отличается от длительного image.transform в worker или HTTP без DB-задержки.
|
||
4. Проверить блокировки/доступность PostgreSQL; снять учебную блокировку, восстановить БД.
|
||
5. Отправить сообщение, проверить 201. Дождаться ухода ошибок из окна 30 секунд
|
||
и отсутствия alertstate=firing. Prometheus хранит историю ALERTS для просмотра.
|
||
|
||
## Backend telemetry недоступен
|
||
|
||
Остановка Tempo не должна ломать сообщения или создание вариантов изображения.
|
||
Collector продолжает metrics/logs, в traces exporter растут failures/queue.
|
||
Максимум 64 batch в очереди exporter, retry ограничен 10 секундами. По исчерпании
|
||
данные отбрасываются; это допустимая потеря наблюдений, не потеря приложения.
|
||
|
||
Проверить Collector self metrics на localhost:8889/metrics:
|
||
`otelcol_exporter_queue_size`, `otelcol_exporter_queue_capacity`,
|
||
`otelcol_exporter_send_failed_spans_total` и `otelcol_exporter_enqueue_failed_spans_total`.
|
||
Конкретное имя/суффикс зависит от закреплённого Collector; исходные строки сохраняет тест.
|
||
Восстановить `docker compose start tempo`, выполнить свежий запрос и найти новый trace.
|