Создала 3 коротких runbook

This commit is contained in:
vasyukova
2026-10-24 22:19:07 +03:00
parent 468913998e
commit d29163bed4
3 changed files with 51 additions and 0 deletions
+19
View File
@@ -0,0 +1,19 @@
# Alert: MessengerHighErrorRate
## Симптомы
- 5xx rate > 5% в течение 2 минут.
- Панель «API error ratio» в Grafana.
## Диагностика (по шагам)
1. Открыть Grafana → Dashboard «Messenger» → p95 latency.
2. Открыть Explore → Loki: `{service_name="messenger-api"} |= "event=unhandled_exception"`.
3. Найти в логах `request_id`, затем в Tempo trace с этим span или по
trace_id из поля `trace_id`.
4. Смотрим какие зависимость отвечает: postgres/redis/s3. Соответствующие
ошибки пишутся как `event=db_unavailable`, `event=redis_unavailable`,
`event=s3_unavailable`.
## Действие
- Если виноват backend — перезапустить (`docker compose restart <service>`).
- Если ошибка идёт от кода — rollback через `docker compose up -d --build`
предыдущего тега.
+17
View File
@@ -0,0 +1,17 @@
# Alert: MessengerJobsBacklogGrowing
## Симптомы
- `jobs_processed_total{outcome="retry"}` > `success` + 5 за 10 минут.
## Диагностика
1. Проверить `docker compose ps worker` — процесс жив?
2. `docker compose exec rabbitmq rabbitmqctl list_queues name messages consumers`
3. Открыть Grafana → «Jobs processed by outcome» и «Job duration p95».
4. Открыть Tempo, найти span `job.consume` с ошибкой (status=ERROR).
## Действие
- Если worker упал — `docker compose restart worker`.
- Если очередь переполнена по `retry_exhausted` — проверить S3 (`minio`
контейнер healthy), затем `docker compose restart s3_cleanup`.
- При долгом backlog включить alert `for: 10m` и снизить `MAX_ATTEMPTS` в `.env`
для быстрого drain.
+15
View File
@@ -0,0 +1,15 @@
# Alert: MessengerUploadLatencyHigh
## Симптомы
- p95 длительности POST `/api/v1/chats/{id}/attachments` > 2s.
## Диагностика
1. Grafana: p95 по route `/api/v1/chats/{id}/attachments`.
2. Tempo: trace `POST /api/v1/chats/{id}/attachments` — найти самый долгий
child span (`put_object` в S3 или `INSERT` в postgres).
3. Loki: `{service_name="messenger-api"} |= "event=http" |~ "attachments"`.
## Действие
- Если виноват S3 — проверить `docker compose ps minio`.
- Если БД — увеличить `max_size` пула или `statement_timeout`.
- Если телеметрия — переключить sampling (см. TRACK1).