Files
2026-11-18 21:37:25 +03:00

5.6 KiB
Raw Permalink Blame History

Диагностика учебного стенда

Откройте dashboard, затем состояния alerts. Историю хранит Prometheus. Логи хранит Loki. Трассы хранит Tempo. Collector принимает OTLP и пересылает сигналы. Grafana выполняет запросы к хранилищам.

HTTP-запросы завершаются с 5xx

  1. Проверьте APIHighErrorRate. Числитель — бизнес-запросы с 5xx; знаменатель — все бизнес-запросы. Health и Swagger исключены из инструментов. Ошибки клиента 4xx входят только в знаменатель.
  2. Найдите route и status class на dashboard. Сравните p95/p99 с обычным значением. Запрос p95: histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))). Значение измеряется в секундах. Buckets объединяют обе API-реплики.
  3. В Explore → Loki выполните {service_name="messenger-api"} | json | status >= 500. Выберите запись http.request. Сохраните request_id и trace_id; тело сообщения не требуется.
  4. Откройте Tempo по trace_id. У HTTP span найдите дочерние postgresql SELECT/INSERT. Длительный ошибочный DB span указывает на ожидание БД. Долгий HTTP span без такого дочернего span требует другого расследования.
  5. Проверьте messenger_db_pool_used, messenger_db_pool_max и метрику ожидания пула. Высокая занятость — дополнительный признак, сама по себе она не доказывает блокировку PostgreSQL.
  6. В лабораторном опыте снимите искусственную блокировку или дождитесь завершения pg_sleep. Убедитесь, что новые записи получают 201, DB spans сокращаются, alert исчезает после очистки окна 1m.

Вложения долго остаются queued/processing

  1. Проверьте QueueLagGrowing, max(messenger_queue_depth) и max(messenger_queue_oldest_age_seconds). Для общего backlog используйте max: каждая API-реплика наблюдает одну общую таблицу jobs.
  2. Сравните worker busy/capacity и свежесть worker-сигналов. Остановленный worker перестаёт экспортировать данные. Отсутствие свежих данных отличается от рабочего процесса с нулевой занятостью.
  3. В Loki найдите job.published, затем job.completed в той же трассе. В Tempo проверьте attachments publish → attachments process → S3 и PostgreSQL.
  4. Если consumer отсутствует, запустите ./scripts/compose.sh start worker. Если consumer есть, но S3 span длительный или ошибочный, проверьте доступность MinIO. Повторные producer/consumer spans с той же трассой показывают retry.
  5. Убедитесь, что вложения стали ready, очередь опустела, возраст равен нулю, alert больше не firing. Полученный HTTP 202 подтверждает приём задания, но не окончание обработки.

Не появляются трассы, API работает

  1. Проверьте up{job="collector"}, up{job="tempo"} и otelcol_exporter_queue_size.
  2. Сравните otelcol_exporter_sent_spans_total, otelcol_exporter_send_failed_spans_total и otelcol_receiver_refused_spans_total. Failed экспорт учитывает неуспешные попытки; он не равен числу окончательно потерянных уникальных spans.
  3. Восстановите Tempo: ./scripts/compose.sh start tempo. Убедитесь, что очередь exporter уменьшается и свежий trace находится по ID.
  4. После длительного отказа возможны потери: SDK и Collector имеют ограниченные очереди и timeout. Повторите запрос для диагностики. Не объявляйте отсутствие старой трассы потерей бизнес-данных.

Повторение отказов

Запускайте только на отдельном учебном проекте lab6, последовательно с исследованием. Сценарий создаёт синтетические данные. Он не обращается к стендам lab4/lab5.

python3 scripts/observability_faults.py

Сценарий восстанавливает worker, MinIO и Tempo в finally. Блокировка PostgreSQL автоматически заканчивается через 45 секунд; соединение закрывается при ошибке. Наблюдения сохраняются в evidence/lab6-faults.json, связанные spans и логи — в соседних JSON.