6.7 KiB
Диагностика учебного стенда
Grafana: http://localhost:3000, пользователь admin, пароль в локальном secrets/grafana-password. Dashboard MTUSI / MTUSI Messenger - signals and SLO импортируется provisioning. Источники: Prometheus (численные временные ряды), Loki (структурные события), Tempo (причинные цепочки). Collector принимает OTLP, ограничивает/группирует и экспортирует данные; он не долговременное хранилище.
API
- В Prometheus http://localhost:9090/alerts проверить
APIAvailabilityBurnи его pending/firing. Ошибки SLI — 5xx, знаменатель — все бизнес-запросы, health исключён. Неверный пароль/ACL4xx не серверный сбой. - На dashboard сопоставить error ratio и p95/p99 по histogram buckets с DB pool used/waiting. Не усреднять percentiles реплик. При обычном handler CPU spike без обращения к БД медленнее SERVER span, но не
db.session.authenticate. - В Loki:
{service_name="messenger-api"} | json | status >= 500. Скопировать trace_id или открыть TraceID derived link → Tempo. По X-Request-Id из ответа:{service_name="messenger-api"} |= "REQUEST_ID". - В Tempo найти ERROR child
db.session.authenticateи его duration. В эксперименте таблица sessions заблокирована, readiness SELECT1 ещё проходит; 503 вызван timeout БД, а не отсутствием реплик. После снятия блокировки длительности/ошибки возвращаются к baseline, затем alert resolved с учётом окон. - Локально уточнить блокировку без вывода секретов:
docker compose exec db psql -U messenger -d messenger -c "SELECT pid,wait_event_type,wait_event FROM pg_stat_activity WHERE datname='messenger';". Не выводить DSN, env, тела запросов или содержимое sessions.
Queue
- Проверить
QueueLag,AttachmentReadyBurn, queue depth и oldest age. Растущий возраст и depth при отсутствии свежих worker completions означает недоступный/зависший consumer; большое processing duration с busy=1 означает медленную обработку. - У остановленного worker последние gauges могут оставаться до истечения metric_expiration2m. Проверить свежесть worker-логов/метрик, не принимать старый busy=0 за доказательство живого процесса.
- Loki:
{service_name="messenger-dispatcher"} | json | event="job_published"; trace_id связывает upload → producer → consumer, включая retry.job_finishedoutcome=retry/failed различает временные и исчерпанные ошибки. Не путать backlog age с duration обработки одной job. docker compose ps worker; восстановление:docker compose start worker. При failed использовать операторский реестр/replay из ЛР5, не создавать вторую логическую job вручную.- После старта дождаться уменьшения queue depth до0 и ready всех принятых IDs. QueueLag снимается после следующего scrape/evaluation. Нарушенный SLO ready<=30s не исправляется задним числом: burn alert остаётся, пока плохая когорта не выйдет из короткого окна. Это корректная память об инциденте.
Недоступен telemetry backend
- Проверить Prometheus
up, Collector exporter queue size/capacity, send_failed spans/log records, receiver accepted, exporter sent. Queue capacity ограничена32 batches на exporter; retry не бесконечный (max30s), SDK queue256 records на процесс. - Если Loki/Tempo недоступны, бизнес-запросы должны продолжать отвечать, Collector память ограничена256MiB и memory_limiter192MiB. Отсутствие логов в Loki в этот момент не доказывает отсутствие запросов: использовать Prometheus и локальный stdout Collector.
docker compose start loki tempo, дождаться/ready, затем проверить новые trace/log. Непереданные после исчерпания retry записи потеряны; локальный stdout сохраняет только ограниченную ротацию. Это не durable telemetry queue.
SLO и окна
Учебные цели: availability99.5% всех бизнес-запросов и ready<=30s для99% принятых вложений. API burn — доля5xx /0.005 одновременно в20s и60s, threshold>10, for30s. Ready burn — доля bad /0.01 одновременно в60s и300s, threshold>10, for15s. Eligible attachment должен быть старше30s; younger не объявляется good преждевременно. Bad — ещё не ready либо ready позднее30s; failed входит в bad. PostgreSQL gauge считает обе когорты, поэтому зависшие задания учитываются даже без нового histogram observation.
Это ускоренные окна для воспроизводимого стенда и нескольких минут эксперимента; не утверждается production SLO за30дней. На малом числе upload одна ошибка резко меняет долю. Для production нужны согласованное длительное окно, несколько alert tiers и проверка на реальном профиле трафика.
Воспроизведение: python -X utf8 scripts/verify_telemetry.py, затем python -X utf8 scripts/incidents.py. Последний сценарий создаёт synthetic writes и временно блокирует sessions на5/70s, останавливает worker на85s и Loki/Tempo на80s. Данные сохраняются в evidence; никаких уведомлений внешним адресатам нет.