4.6 KiB
API availability SLO
Цель и сигналы
Объект контроля — бизнес-маршруты API за Nginx. Health endpoints исключены. Хорошими считаются ответы 2xx и ожидаемые клиентские 4xx; плохими — 5xx. Цель — не менее 99,5% хороших ответов за скользящие 30 дней, error budget равен 0,5%.
Основные сигналы:
messenger_http_requests_total{method,route,status_class}— число запросов;messenger_http_request_duration_seconds_bucket{method,route}— распределение server latency;up{job="messenger"}иup{job="nginx"}— доступность scrape targets;messenger_db_pool_connections{state="used"}иrate(messenger_db_pool_waited_total[5m])— использование пула и частота ожиданий свободного соединения;- trace
messenger-api— путь одного запроса по зависимостям; - JSON-логи
messenger-apiсrequest_id,trace_idиspan_id.
user_id, chat_id, message_id, attachment_id и request_id не используются как labels метрик.
Диагностика: metrics → trace → logs
-
В Grafana открыть dashboard Messenger Lab 6 / API и установить общий временной диапазон инцидента.
-
Проверить error ratio, RPS, p95/p99 и
up. Рост5xxпри нормальном RPS подтверждает влияние на SLI; отсутствие трафика не считается успешностью. -
Сравнить DB pool used/waiting и состояние PostgreSQL. Рост ожидания пула указывает на зависимость, а не на CPU handler.
-
В панели ошибок выбрать exemplar или перейти в Explore → Tempo. Если exemplar отсутствует, выполнить TraceQL:
{ resource.service.name = "messenger-api" && span.http.route != "/health/ready" && status = error } -
В trace найти первый error span. Проверить
http.route,http.request.method,http.response.status_code,db.system, duration и resource attributes. Полный URL, токен и тело запроса в span отсутствуют. -
Скопировать
trace_id, перейти по trace-to-logs или выполнить в Explore → Loki:{service_name="messenger-api"} | json | trace_id="<trace_id>" -
Сверить
request_id, событие, severity и error class. Текст сообщений,Authorizationи пароли в логах отсутствуют.
Проверка alert
Состояние правил видно в Grafana Alerting и в Prometheus:
curl -s http://127.0.0.1:9090/api/v1/alerts
Контролируемый отказ PostgreSQL:
ENV_FILE=lab6.env.example scripts/incident-database.sh
Сценарий сохраняет baseline, нагрузку, состояние деградации, alert-firing.json, восстановление и alert-resolved.json в evidence/runtime/. Trap запускает PostgreSQL и API даже при ошибке сценария. Volumes не удаляются.
Ожидаемая последовательность:
нормальный error ratio
→ PostgreSQL остановлен
→ 5xx растёт
→ MessengerAPIBusiness5xxHigh и MessengerAPIHighErrorBudgetBurnFast firing
→ PostgreSQL восстановлен
→ успешные ответы возвращаются
→ оперативный alert resolved; burn-rate хранит историю длинного окна
Действия
- Если
up{job="nginx"}=0, восстановить ingress и проверить его логи. - Если API targets недоступны, восстановить реплики по одной и проверить readiness.
- Если API работает, а DB spans завершаются ошибкой или pool waiting растёт, восстановить PostgreSQL и не увеличивать число API-реплик до устранения причины.
- После восстановления проверить успешный smoke, отсутствие firing alerts и возвращение latency к baseline.
- Не удалять volumes и не сбрасывать очередь ради закрытия alert.