From d29163bed4fbfc846a9f159d77fd9d44499df6b8 Mon Sep 17 00:00:00 2001 From: vasyukova Date: Sat, 24 Oct 2026 22:19:07 +0300 Subject: [PATCH] =?UTF-8?q?=D0=A1=D0=BE=D0=B7=D0=B4=D0=B0=D0=BB=D0=B0=203?= =?UTF-8?q?=20=D0=BA=D0=BE=D1=80=D0=BE=D1=82=D0=BA=D0=B8=D1=85=20runbook?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- infra/runbooks/high-error-rate.md | 19 +++++++++++++++++++ infra/runbooks/queue-lag.md | 17 +++++++++++++++++ infra/runbooks/slow-upload.md | 15 +++++++++++++++ 3 files changed, 51 insertions(+) create mode 100644 infra/runbooks/high-error-rate.md create mode 100644 infra/runbooks/queue-lag.md create mode 100644 infra/runbooks/slow-upload.md diff --git a/infra/runbooks/high-error-rate.md b/infra/runbooks/high-error-rate.md new file mode 100644 index 0000000..b3ca17d --- /dev/null +++ b/infra/runbooks/high-error-rate.md @@ -0,0 +1,19 @@ +# Alert: MessengerHighErrorRate + +## Симптомы +- 5xx rate > 5% в течение 2 минут. +- Панель «API error ratio» в Grafana. + +## Диагностика (по шагам) +1. Открыть Grafana → Dashboard «Messenger» → p95 latency. +2. Открыть Explore → Loki: `{service_name="messenger-api"} |= "event=unhandled_exception"`. +3. Найти в логах `request_id`, затем в Tempo trace с этим span или по + trace_id из поля `trace_id`. +4. Смотрим какие зависимость отвечает: postgres/redis/s3. Соответствующие + ошибки пишутся как `event=db_unavailable`, `event=redis_unavailable`, + `event=s3_unavailable`. + +## Действие +- Если виноват backend — перезапустить (`docker compose restart `). +- Если ошибка идёт от кода — rollback через `docker compose up -d --build` + предыдущего тега. \ No newline at end of file diff --git a/infra/runbooks/queue-lag.md b/infra/runbooks/queue-lag.md new file mode 100644 index 0000000..30618e0 --- /dev/null +++ b/infra/runbooks/queue-lag.md @@ -0,0 +1,17 @@ +# Alert: MessengerJobsBacklogGrowing + +## Симптомы +- `jobs_processed_total{outcome="retry"}` > `success` + 5 за 10 минут. + +## Диагностика +1. Проверить `docker compose ps worker` — процесс жив? +2. `docker compose exec rabbitmq rabbitmqctl list_queues name messages consumers` +3. Открыть Grafana → «Jobs processed by outcome» и «Job duration p95». +4. Открыть Tempo, найти span `job.consume` с ошибкой (status=ERROR). + +## Действие +- Если worker упал — `docker compose restart worker`. +- Если очередь переполнена по `retry_exhausted` — проверить S3 (`minio` + контейнер healthy), затем `docker compose restart s3_cleanup`. +- При долгом backlog включить alert `for: 10m` и снизить `MAX_ATTEMPTS` в `.env` + для быстрого drain. \ No newline at end of file diff --git a/infra/runbooks/slow-upload.md b/infra/runbooks/slow-upload.md new file mode 100644 index 0000000..f3d4b82 --- /dev/null +++ b/infra/runbooks/slow-upload.md @@ -0,0 +1,15 @@ +# Alert: MessengerUploadLatencyHigh + +## Симптомы +- p95 длительности POST `/api/v1/chats/{id}/attachments` > 2s. + +## Диагностика +1. Grafana: p95 по route `/api/v1/chats/{id}/attachments`. +2. Tempo: trace `POST /api/v1/chats/{id}/attachments` — найти самый долгий + child span (`put_object` в S3 или `INSERT` в postgres). +3. Loki: `{service_name="messenger-api"} |= "event=http" |~ "attachments"`. + +## Действие +- Если виноват S3 — проверить `docker compose ps minio`. +- Если БД — увеличить `max_size` пула или `statement_timeout`. +- Если телеметрия — переключить sampling (см. TRACK1). \ No newline at end of file