Создала 3 коротких runbook
This commit is contained in:
@@ -0,0 +1,19 @@
|
||||
# Alert: MessengerHighErrorRate
|
||||
|
||||
## Симптомы
|
||||
- 5xx rate > 5% в течение 2 минут.
|
||||
- Панель «API error ratio» в Grafana.
|
||||
|
||||
## Диагностика (по шагам)
|
||||
1. Открыть Grafana → Dashboard «Messenger» → p95 latency.
|
||||
2. Открыть Explore → Loki: `{service_name="messenger-api"} |= "event=unhandled_exception"`.
|
||||
3. Найти в логах `request_id`, затем в Tempo trace с этим span или по
|
||||
trace_id из поля `trace_id`.
|
||||
4. Смотрим какие зависимость отвечает: postgres/redis/s3. Соответствующие
|
||||
ошибки пишутся как `event=db_unavailable`, `event=redis_unavailable`,
|
||||
`event=s3_unavailable`.
|
||||
|
||||
## Действие
|
||||
- Если виноват backend — перезапустить (`docker compose restart <service>`).
|
||||
- Если ошибка идёт от кода — rollback через `docker compose up -d --build`
|
||||
предыдущего тега.
|
||||
@@ -0,0 +1,17 @@
|
||||
# Alert: MessengerJobsBacklogGrowing
|
||||
|
||||
## Симптомы
|
||||
- `jobs_processed_total{outcome="retry"}` > `success` + 5 за 10 минут.
|
||||
|
||||
## Диагностика
|
||||
1. Проверить `docker compose ps worker` — процесс жив?
|
||||
2. `docker compose exec rabbitmq rabbitmqctl list_queues name messages consumers`
|
||||
3. Открыть Grafana → «Jobs processed by outcome» и «Job duration p95».
|
||||
4. Открыть Tempo, найти span `job.consume` с ошибкой (status=ERROR).
|
||||
|
||||
## Действие
|
||||
- Если worker упал — `docker compose restart worker`.
|
||||
- Если очередь переполнена по `retry_exhausted` — проверить S3 (`minio`
|
||||
контейнер healthy), затем `docker compose restart s3_cleanup`.
|
||||
- При долгом backlog включить alert `for: 10m` и снизить `MAX_ATTEMPTS` в `.env`
|
||||
для быстрого drain.
|
||||
@@ -0,0 +1,15 @@
|
||||
# Alert: MessengerUploadLatencyHigh
|
||||
|
||||
## Симптомы
|
||||
- p95 длительности POST `/api/v1/chats/{id}/attachments` > 2s.
|
||||
|
||||
## Диагностика
|
||||
1. Grafana: p95 по route `/api/v1/chats/{id}/attachments`.
|
||||
2. Tempo: trace `POST /api/v1/chats/{id}/attachments` — найти самый долгий
|
||||
child span (`put_object` в S3 или `INSERT` в postgres).
|
||||
3. Loki: `{service_name="messenger-api"} |= "event=http" |~ "attachments"`.
|
||||
|
||||
## Действие
|
||||
- Если виноват S3 — проверить `docker compose ps minio`.
|
||||
- Если БД — увеличить `max_size` пула или `statement_timeout`.
|
||||
- Если телеметрия — переключить sampling (см. TRACK1).
|
||||
Reference in New Issue
Block a user