forked from mtusi2026/mtusi2026lab6
4.6 KiB
4.6 KiB
Диагностика лабораторной 6
Grafana — http://localhost:13000, dashboard Messenger. Prometheus — http://localhost:19090/alerts. Учётная запись Grafana admin, пароль в локальном secrets/grafana_password.
Ошибки API
- Посмотреть RPS, долю 5xx и p95/p99 за интервал алерта HighApiErrorRate.
- В Tempo найти server span с ошибкой, раскрыть postgresql.transaction и s3 spans. HTTP server span включает шаблон маршрута и статус. SQL-параметры и содержимое объектов не экспортируются.
- В Loki найти логи по service_name и trace_id. X-Request-Id из ответа помогает найти HTTP-событие.
- При ошибках БД проверить здоровье postgres и число занятых соединений. getconn в psycopg2 fail-fast, waiting показывает только текущие попытки получения соединения. Exhausted и histogram acquire дополняют этот gauge.
- Восстановить postgres. Проверить успешные запросы и исчезновение firing после выхода ошибки из минутного окна.
Рост возраста очереди
- Сопоставить messenger_queue_depth, messenger_queue_oldest_age_seconds, broker_ready и worker busy/capacity.
- Backlog включает queued/processing в PostgreSQL, в том числе outbox и отложенные retry. Broker ready показывает только ожидающие доставки RabbitMQ сообщения. Processing duration измеряет одну попытку. Time to ready включает ожидание и retry.
- Если нет свежих worker метрик, проверить worker. Gauge после остановки процесса временно сохраняется в exporter, время последнего получения данных проверять отдельно.
- Найти trace upload по X-Trace-Id, затем producer, consumer и операции S3/DB. Попытки имеют job.attempt в traces, без job_id в metric labels.
- Запустить worker. Убедиться, что backlog и oldest age равны нулю, алерт resolved. При QueueObservationStale проверить publisher/БД.
Хранилище телеметрии недоступно
- Посмотреть собственные метрики Collector, exporter send_failed и enqueue_failed, а также docker stats.
- SDK ограничены 256 spans/logs на процесс, batch 64 и timeout 1 секунда. Collector ограничен memory_limiter 128 MiB, контейнером 192 MiB, batch максимум 512 записей и экспортными очередями по 128 batches. При заполнении/исчерпании retry телеметрия может теряться. Prometheus экспортируется pull endpoint, его остановка оставляет пробел в scrape-истории.
- Восстановить Loki/Tempo, убедиться, что свежий trace и лог снова доступны. Подтвердить, что принятые сообщения и вложения доступны через API.
- Разница accepted/sent и exporter failure counters помогает оценивать проблему. send_failed учитывает попытки отправки, поэтому не является точным числом уникальных потерянных spans. Без sequence IDs точные потери не заявляются.
SLI/SLO
SLI = 1 − число 5xx / число всех бизнес-запросов за скользящие 5 минут. Health исключён при записи HTTP-метрик. SLO ≥ 99%. При отсутствии запросов окно не даёт оценки доступности. 4xx остаются в знаменателе и не считаются отказами сервера. Алерт ошибок использует более короткое окно 1 минута, порог 1%, for 6 секунд. QueueLagGrowing — возраст старейшего незавершённого задания >15 секунд, backlog >0, for 6 секунд. Это учебные пороги для воспроизводимой проверки.