4.1 KiB
4.1 KiB
Диагностика мессенджера
Все примеры относятся к локальному учебному стенду. Публичный API: http://127.0.0.1:8086. Grafana: http://127.0.0.1:13006, dashboard Messenger: API and image pipeline.
API errors
- На dashboard проверь Business RPS и долю 5xx. Health-запросы не входят в знаменатель. Пользовательские 4xx не являются отказом сервера.
- Найди структурный лог API с событием request, статусом 5xx и request_id; переход по trace_id открывает соответствующую трассу Tempo.
- Сравни server span и postgres.transaction/s3 child spans. Долгая DB span вместе с ростом pool waiting указывает на ожидание БД; медленный handler без долгой зависимости требует другого объяснения.
- Проверь состояние PostgreSQL. Для контролируемого
docker compose pause postgresвосстановление —docker compose unpause postgres. - После восстановления убедись, что запросы успешны и MessengerHighErrorRate перешёл firing→inactive. Окно 1m сохраняет историю ошибок, поэтому alert не обязан исчезнуть мгновенно.
Queue lag
- Проверь Outstanding jobs и Oldest outstanding age. Это состояние БД, включающее queued/processing, а не скорость успешных worker.
- Найди worker logs и consumer traces; отсутствие новых consumer spans при растущем backlog вместе с остановленным worker объясняет инцидент.
- Проверь
docker compose ps worker dispatcher broker. При контролируемой остановке:docker compose start worker. - Убедись, что те же принятые attachment становятся ready, глубина падает до нуля, возраст обнуляется и MessengerQueueLag resolved.
- Если worker активен, проверь длительные S3/DB spans, failed/retry outcomes, процесс CPU/RAM и budget. Повторная попытка использует сохранённый trace context; parent producer/consumer связывают её с upload.
Telemetry unavailable
- Проверь Prometheus targets и Collector. Grafana сама не хранит метрики, логи и трассы.
- Для отсутствующих trace/log backend проверь Collector send_failed/queue и logs. SDK и Collector имеют ограниченные очереди; не обещается сохранение всей telemetry при долгом outage.
- Продолжи бизнес-запросы через API. Ошибка наблюдаемости не должна превращать успешную отправку сообщения в 5xx.
- Восстанови остановленные backend. Свежая telemetry должна появиться; потерянные записи не восстанавливаются из воздуха.
- Сравни cgroup memory.current/peak/events, реальные счётчики отправок и экспортных ошибок. Sampled-out span — решение sampling, а rejected/export_failed — проблема доставки; не смешивай их.
Границы
Alerts локальные, отправки наружу нет. Один host и одиночные хранилища остаются SPOF. SLO — проверяемая учебная цель, а не production SLA. Для приватности не экспортируются содержимое сообщений/картинок, filename, авторизационные заголовки, пароли, database/broker URLs и S3 object keys.