forked from mtusi2026/mtusi2026lab6
lab6: Collector, Prometheus/Loki/Tempo/Grafana, alerts, incidents, track 1 (cost of observability)
This commit is contained in:
@@ -0,0 +1,20 @@
|
||||
# MessengerApiHighErrorRate
|
||||
|
||||
**Условие:** `messenger:api_errors:rate1m / messenger:api_requests:rate1m > 0.05` при `messenger:api_requests:rate1m > 0.1`, держится 30 с (warning).
|
||||
SLI: 5xx / все бизнес-запросы API (маршруты `/health*`, `/internal/*` исключены, 4xx не ошибка). Локальная цель: availability ≥ 99.5% за 5m (`messenger:api_availability:ratio5m`).
|
||||
|
||||
## Источник сигнала
|
||||
Histogram `http_server_request_duration_seconds_count{job="messenger-api"}` (OTLP, обе реплики); правила — `infra/prometheus/rules/recording.yml`.
|
||||
|
||||
## Диагностика (Grafana: «Messenger: API и worker»)
|
||||
1. **Какие маршруты и коды.** Панель «RPS по маршруту и классу статуса»: 5xx на одном маршруте или на всех.
|
||||
2. **Балансировщик или приложение.** `sum(rate(haproxy_backend_http_responses_total{proxy="api",code="5xx"}[1m]))` против 5xx API. 503 от HAProxy без 5xx API — нет готовых реплик (`haproxy_backend_active_servers{proxy="api"}`, `/health/ready`).
|
||||
3. **БД.** `histogram_quantile(0.95, sum by (le, db_operation_name)(rate(db_client_operation_duration_seconds_bucket[1m])))`, пул: `db_client_connection_count` (used/idle), `db_client_connection_pending_requests`, wait p95. Рост длительности операций с `error_type` и 5xx — БД (блокировка, недоступность). Откройте трассу 5xx-запроса (Loki: `{service_name="messenger-api"} |= "5"` → поле TraceID): время ушло в CLIENT-span БД.
|
||||
4. **Handler.** Если SERVER-span длиннее суммы DB-span, а операции БД быстрые — задержка в коде handler (разрыв между дочерними span-ами).
|
||||
5. **S3/Redis/брокер.** Логи `ObjectStorage`, `OutboxRelay` (WARN) и span-ы ошибок; `rabbitmq_queue_messages_unacked`.
|
||||
|
||||
## Действие
|
||||
Устранить причину: снять блокировку/вернуть БД (`pg_stat_activity`, `pg_locks`), вернуть недоступную реплику (`scripts/start-replica.sh`), восстановить S3/Redis. Перезапуск реплик — только после выяснения причины.
|
||||
|
||||
## Критерий восстановления
|
||||
`messenger:api_errors:rate1m` близок к 0 и alert перешёл в resolved; `messenger:api_availability:ratio5m` возвращается ≥ 0.995 (окно 5m даёт запаздывание); очередь задач разобрана (`messenger_jobs_queue_depth` → 0).
|
||||
@@ -0,0 +1,20 @@
|
||||
# MessengerJobsQueueLagGrowing
|
||||
|
||||
**Условие:** `max(messenger_jobs_queue_oldest_age_seconds) > 30` и `max(messenger_jobs_queue_depth{state=~"ready|delayed"}) > 0`, держится 30 с (warning).
|
||||
Это возраст самой старой необработанной задачи (backlog), а не время обработки: рост ряда означает, что задачи не успевают или не обрабатываются.
|
||||
|
||||
## Источник сигнала
|
||||
Gauge публикуют обе API-реплики из одного snapshot PostgreSQL (`attachment_jobs`), поэтому `max`, не `sum`. Источник истины — БД, не глубина очереди RabbitMQ: задача может ждать в outbox, backoff или под истёкшим lease.
|
||||
|
||||
## Диагностика
|
||||
1. **Worker жив?** `messenger_worker_jobs_active`, `messenger_worker_jobs_capacity`; `docker compose ps worker`; логи worker. Нет серии — worker остановлен; `active = capacity` — перегружен.
|
||||
2. **Outbox не публикуется.** `max(messenger_outbox_pending)` и `messenger_outbox_oldest_age_seconds` растут при пустой очереди брокера — проблема в relay/брокере (`rabbitmq_queue_messages_ready`, health брокера).
|
||||
3. **Брокер.** `rabbitmq_queue_messages_ready` растёт, consumers нет — worker отключён от брокера; `unacked` растёт — задачи зависли в работе.
|
||||
4. **S3/БД.** Задачи падают в `retry`: `sum by (outcome)(rate(messenger_jobs_processed_total[1m]))`, длительность попытки `messenger_job_duration_seconds`; логи `job.processed` WARN и трассы consumer-span-ов (S3 PUT/DB).
|
||||
5. **Backoff.** Состояние `delayed` > 0 при `retry` — ожидание повторной попытки, смотрите причину ретраев.
|
||||
|
||||
## Действие
|
||||
Вернуть остановленный worker (`docker compose --env-file .env up -d worker`), восстановить S3/БД/брокер; для зависших задач — `jobs.cli status <attachment_id>` / `replay` по документации lab5. Не очищайте очередь вручную.
|
||||
|
||||
## Критерий восстановления
|
||||
`messenger_jobs_queue_oldest_age_seconds` падает ниже 30 с и далее к 0, `messenger_jobs_queue_depth{state=~"ready|delayed|processing"}` → 0, `messenger_outbox_pending` → 0, alert resolved; принятые вложения стали `ready`.
|
||||
Reference in New Issue
Block a user