Files
mtusi2026lab6/docs/slo-runbook.md
T
2026-11-06 11:12:38 +03:00

12 KiB
Raw Blame History

Runbook: расход бюджета SLO

Используйте только учебный стенд с синтетическими данными. Grafana: http://localhost:3000, имя admin, пароль в secrets/grafana_password. На dashboard Messenger — observability находятся панели API/ready SLI и burn rates. В Explore выберите Prometheus; логи и traces доступны через Loki и Tempo. Правила — alerts.yaml.

Что означает сигнал

Два учебных SLO на скользящие 24 часа: 99% бизнес-запросов API без 5xx и 99% принятых вложений становятся ready не позднее чем через 30 секунд после commit принятия задания. API исключает health и ошибки LB до попадания в приложение; 4xx остаются в знаменателе. Для готовности учтены только задания, достигшие 30-секундного возраста: неготовые, failed и завершённые позднее срока считаются плохими. Счётчики вычисляет outbox по PostgreSQL, поэтому при его недоступности данные не обновляются; события между последним scrape старого процесса и первым scrape нового могут не попасть в расчёт increase. Миграция 009 добавляет attachment_slo: моменты acceptance и первого ready берутся из commit timestamps PostgreSQL и сохраняются outbox. Результат зрелой когорты фиксируется один раз; retry/replay не меняют историю. Старые задания до миграции исключены, поскольку восстановить точные времена их приёма нельзя. track_commit_timestamp=on задан в Compose. PostgreSQL удаляет старые commit timestamps при vacuum; outbox материализует их раз в цикл. Если не успел, растёт messenger_slo_unknown, срабатывает MessengerReadyTimestampUnknown: неизвестные события нельзя считать доказательством выполнения SLO. Источник: PostgreSQL 17, commit timestamps. Порог 30 секунд — половина 60-секундного бюджета smoke-теста для одного файла при свободном worker; это учебная цель, не измеренное требование пользователей. Цель 99% также выбрана для демонстрации, а не выведена из пользовательского исследования.

Error budget каждого SLO — 1 − 0,99 = 0,01. Burn rate — доля плохих событий за окно / 0,01. Приближение расхода бюджета burn × окно / 24 часа предполагает стабильную интенсивность событий; при сильно меняющейся нагрузке бюджет, выраженный в доле событий за 24 часа, расходуется иначе. Значение 1 означает, что при сохранении текущей доли плохих событий все допустимые ошибки будут израсходованы за период SLO.

  • Fast: одновременно 1 минута и 20 секунд выше 28,8 × 0,01 = 28,8%; в коротком окне не менее 5 событий. При постоянной интенсивности это 28,8 × 1 / 1440 = 0,02, то есть 2% суточного бюджета за минуту.
  • Slow: одновременно 5 минут и 1 минута выше 14,4 × 0,01 = 14,4%; в коротком окне не менее 5 событий. При постоянной интенсивности это 14,4 × 5 / 1440 = 0,05, то есть 5% бюджета за пять минут.

В окне недостаточно событий — alert молчит; отсутствие ряда не является доказательством здоровья. Короткие окна и пороги выбраны для воспроизводимого лабораторного опыта, не являются рекомендацией для production. Источник метода multiwindow/multi-burn-rate и ограничений: Google SRE Workbook. Гистограмма: Prometheus histograms.

API burn

  1. Убедитесь в наличии запросов: sum(rate(messenger_http_requests_total{route!~"/health/.*"}[1m])). Отсутствие запросов требует отдельной проверки LB/readiness, а не вывода об отсутствии ошибок.
  2. Сравните на dashboard 20s/1m/5m и долю 5xx по маршрутам: sum by(route) (rate(messenger_http_requests_total{status_class="5xx"}[1m])). Если burn high, перейдите в Loki: {service_name="messenger-api"} | status="503". Ограничьте диапазон временем alert.
  3. Откройте trace из metadata лога в Tempo. Если postgres.user_for_token или другая DB-операция занимает большую часть HTTP span, проверьте подключение к PostgreSQL и блокировки (pg_locks, pg_stat_activity); не печатайте параметры SQL или credentials. Если вместо этого длителен S3 span — проверьте S3 и сеть. Проверьте также pool used/waiting.
  4. Устраните причину в рамках полномочий: в учебном опыте дождитесь окончания контролируемой блокировки. Проверьте уменьшение error ratio, отсутствие активного burn alert и успешный make test. Сообщение об устранении возможно после короткого окна; долгая часть условия может ещё некоторое время оставаться выше порога.

Ready burn / очередь

  1. Сначала убедитесь, что MessengerQueueTelemetryStale и MessengerReadyTimestampUnknown не firing. Проверьте sum(increase(messenger_slo_ready_eligible_total{service_name="messenger-outbox"}[1m])), p95 ready и исходы jobs. Счётчик messenger_slo_ready_bad_total включает задания, нарушившие срок. Отсутствие событий не делает SLI хорошим: проверьте messenger_queue_depth{service_name="messenger-outbox"} и messenger_queue_age_seconds{service_name="messenger-outbox"}.
  2. В Loki откройте {service_name="messenger-worker"}, найдите событие и trace ID. В Tempo проверьте цепочку upload → producer → consumer → S3/DB; посмотрите busy/capacity и состояние broker/worker через docker compose ps.
  3. В учебном опыте запустите остановленный worker, наблюдайте уменьшение глубины/возраста и новые ready. Проверьте resolved и метаданные вложений. Не удаляйте volumes и не запускайте replay вслепую.

Повторение экспериментов

python3 student-tests/slo_incidents.py создаёт синтетические данные, ведёт три клиента и выполняет краткую и длительную блокировку таблицы users. Скрипт пишет временные отметки и наблюдения в evidence/slo-incidents.json, не сохраняет tokens; опрашивает alert примерно каждые 5 секунд. python3 student-tests/slo_analyze.py строит сводку, включая срабатывания уже после завершения воздействия. Тест намеренно ухудшает локальный API и занимает несколько минут. Первая отметка воздействия — момент, когда скрипт увидел granted AccessExclusiveLock; окончание — возврат команды транзакции, поэтому обе оценки имеют задержку наблюдения. Анализатор сравнивает приращения UTC и монотонных часов и сохраняет максимальный фактический интервал опроса. Если timing_quality.valid_for_elapsed_time_claims=false, опыт повторяют; причину расхождения часов по этим данным установить нельзя. Аварийное прерывание клиентской команды может оставить server-side pg_sleep до окончания заданного ограниченного времени; проверьте состояние блокировки.

python3 student-tests/slo_ready_incident.py проверяет отсутствие незавершённых заданий, останавливает worker, принимает восемь синтетических файлов и восстанавливает worker в finally. До запуска убедитесь, что API и worker свободны. Результат — evidence/slo-ready-incident.json. Снятие alerts при малом количестве новых событий может означать недостаток событий в коротком окне, а не доказательство выполнения 24-часового SLO.

Проверка правил без стенда и в ускоренном времени:

docker run --rm -v "$PWD:/workspace:ro" --entrypoint promtool prom/prometheus:v3.2.1 test rules /workspace/student-tests/burn_rules.test.yaml

В runbook зафиксируйте фазу, UTC начала/окончания, первый firing и первое наблюдение после исчезновения alert. Первый и последний интервалы ограничены частотой опроса, а отсутствие ложного firing в одном baseline не оценивает долгосрочный false-positive rate.

Проверка другим студентом

Проверяющий не получает команду инъекции заранее. Автор запускает один из двух ограниченных сценариев; проверяющий получает время и имя alert, затем проходит шаги выше. В отдельный протокол записывают: имя проверяющего, UTC, запрос PromQL/LogQL, trace ID, медленный span или отсутствие consumer, диагноз, действие восстановления и свидетельство resolved. Совпадение диагноза с инъекцией проверяют после записи. Пока такого заполненного протокола нет, независимое прохождение runbook не подтверждено.