forked from mtusi2026/mtusi2026lab6
5.6 KiB
5.6 KiB
Диагностика учебного стенда
Откройте dashboard, затем состояния alerts. Историю хранит Prometheus. Логи хранит Loki. Трассы хранит Tempo. Collector принимает OTLP и пересылает сигналы. Grafana выполняет запросы к хранилищам.
HTTP-запросы завершаются с 5xx
- Проверьте
APIHighErrorRate. Числитель — бизнес-запросы с 5xx; знаменатель — все бизнес-запросы. Health и Swagger исключены из инструментов. Ошибки клиента 4xx входят только в знаменатель. - Найдите route и status class на dashboard. Сравните p95/p99 с обычным значением.
Запрос p95:
histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))). Значение измеряется в секундах. Buckets объединяют обе API-реплики. - В Explore → Loki выполните
{service_name="messenger-api"} | json | status >= 500. Выберите записьhttp.request. Сохранитеrequest_idиtrace_id; тело сообщения не требуется. - Откройте Tempo по
trace_id. У HTTP span найдите дочерниеpostgresql SELECT/INSERT. Длительный ошибочный DB span указывает на ожидание БД. Долгий HTTP span без такого дочернего span требует другого расследования. - Проверьте
messenger_db_pool_used,messenger_db_pool_maxи метрику ожидания пула. Высокая занятость — дополнительный признак, сама по себе она не доказывает блокировку PostgreSQL. - В лабораторном опыте снимите искусственную блокировку или дождитесь завершения
pg_sleep. Убедитесь, что новые записи получают 201, DB spans сокращаются, alert исчезает после очистки окна 1m.
Вложения долго остаются queued/processing
- Проверьте
QueueLagGrowing,max(messenger_queue_depth)иmax(messenger_queue_oldest_age_seconds). Для общего backlog используйте max: каждая API-реплика наблюдает одну общую таблицу jobs. - Сравните worker busy/capacity и свежесть worker-сигналов. Остановленный worker перестаёт экспортировать данные. Отсутствие свежих данных отличается от рабочего процесса с нулевой занятостью.
- В Loki найдите
job.published, затемjob.completedв той же трассе. В Tempo проверьтеattachments publish→attachments process→ S3 и PostgreSQL. - Если consumer отсутствует, запустите
./scripts/compose.sh start worker. Если consumer есть, но S3 span длительный или ошибочный, проверьте доступность MinIO. Повторные producer/consumer spans с той же трассой показывают retry. - Убедитесь, что вложения стали ready, очередь опустела, возраст равен нулю, alert больше не firing. Полученный HTTP 202 подтверждает приём задания, но не окончание обработки.
Не появляются трассы, API работает
- Проверьте
up{job="collector"},up{job="tempo"}иotelcol_exporter_queue_size. - Сравните
otelcol_exporter_sent_spans_total,otelcol_exporter_send_failed_spans_totalиotelcol_receiver_refused_spans_total. Failed экспорт учитывает неуспешные попытки; он не равен числу окончательно потерянных уникальных spans. - Восстановите Tempo:
./scripts/compose.sh start tempo. Убедитесь, что очередь exporter уменьшается и свежий trace находится по ID. - После длительного отказа возможны потери: SDK и Collector имеют ограниченные очереди и timeout. Повторите запрос для диагностики. Не объявляйте отсутствие старой трассы потерей бизнес-данных.
Повторение отказов
Запускайте только на отдельном учебном проекте lab6, последовательно с исследованием. Сценарий создаёт синтетические данные. Он не обращается к стендам lab4/lab5.
python3 scripts/observability_faults.py
Сценарий восстанавливает worker, MinIO и Tempo в finally.
Блокировка PostgreSQL автоматически заканчивается через 45 секунд; соединение закрывается при ошибке.
Наблюдения сохраняются в evidence/lab6-faults.json, связанные spans и логи — в соседних JSON.