12 KiB
Runbook: расход бюджета SLO
Используйте только учебный стенд с синтетическими данными. Grafana: http://localhost:3000, имя admin, пароль в secrets/grafana_password. На dashboard Messenger — observability находятся панели API/ready SLI и burn rates. В Explore выберите Prometheus; логи и traces доступны через Loki и Tempo. Правила — alerts.yaml.
Что означает сигнал
Два учебных SLO на скользящие 24 часа: 99% бизнес-запросов API без 5xx и 99% принятых вложений становятся ready не позднее чем через 30 секунд после commit принятия задания. API исключает health и ошибки LB до попадания в приложение; 4xx остаются в знаменателе. Для готовности учтены только задания, достигшие 30-секундного возраста: неготовые, failed и завершённые позднее срока считаются плохими. Счётчики вычисляет outbox по PostgreSQL, поэтому при его недоступности данные не обновляются; события между последним scrape старого процесса и первым scrape нового могут не попасть в расчёт increase. Миграция 009 добавляет attachment_slo: моменты acceptance и первого ready берутся из commit timestamps PostgreSQL и сохраняются outbox. Результат зрелой когорты фиксируется один раз; retry/replay не меняют историю. Старые задания до миграции исключены, поскольку восстановить точные времена их приёма нельзя. track_commit_timestamp=on задан в Compose. PostgreSQL удаляет старые commit timestamps при vacuum; outbox материализует их раз в цикл. Если не успел, растёт messenger_slo_unknown, срабатывает MessengerReadyTimestampUnknown: неизвестные события нельзя считать доказательством выполнения SLO. Источник: PostgreSQL 17, commit timestamps. Порог 30 секунд — половина 60-секундного бюджета smoke-теста для одного файла при свободном worker; это учебная цель, не измеренное требование пользователей. Цель 99% также выбрана для демонстрации, а не выведена из пользовательского исследования.
Error budget каждого SLO — 1 − 0,99 = 0,01. Burn rate — доля плохих событий за окно / 0,01. Приближение расхода бюджета burn × окно / 24 часа предполагает стабильную интенсивность событий; при сильно меняющейся нагрузке бюджет, выраженный в доле событий за 24 часа, расходуется иначе. Значение 1 означает, что при сохранении текущей доли плохих событий все допустимые ошибки будут израсходованы за период SLO.
- Fast: одновременно 1 минута и 20 секунд выше
28,8 × 0,01 = 28,8%; в коротком окне не менее 5 событий. При постоянной интенсивности это28,8 × 1 / 1440 = 0,02, то есть 2% суточного бюджета за минуту. - Slow: одновременно 5 минут и 1 минута выше
14,4 × 0,01 = 14,4%; в коротком окне не менее 5 событий. При постоянной интенсивности это14,4 × 5 / 1440 = 0,05, то есть 5% бюджета за пять минут.
В окне недостаточно событий — alert молчит; отсутствие ряда не является доказательством здоровья. Короткие окна и пороги выбраны для воспроизводимого лабораторного опыта, не являются рекомендацией для production. Источник метода multiwindow/multi-burn-rate и ограничений: Google SRE Workbook. Гистограмма: Prometheus histograms.
API burn
- Убедитесь в наличии запросов:
sum(rate(messenger_http_requests_total{route!~"/health/.*"}[1m])). Отсутствие запросов требует отдельной проверки LB/readiness, а не вывода об отсутствии ошибок. - Сравните на dashboard 20s/1m/5m и долю 5xx по маршрутам:
sum by(route) (rate(messenger_http_requests_total{status_class="5xx"}[1m])). Если burn high, перейдите в Loki:{service_name="messenger-api"} | status="503". Ограничьте диапазон временем alert. - Откройте trace из metadata лога в Tempo. Если
postgres.user_for_tokenили другая DB-операция занимает большую часть HTTP span, проверьте подключение к PostgreSQL и блокировки (pg_locks,pg_stat_activity); не печатайте параметры SQL или credentials. Если вместо этого длителен S3 span — проверьте S3 и сеть. Проверьте также pool used/waiting. - Устраните причину в рамках полномочий: в учебном опыте дождитесь окончания контролируемой блокировки. Проверьте уменьшение error ratio, отсутствие активного burn alert и успешный
make test. Сообщение об устранении возможно после короткого окна; долгая часть условия может ещё некоторое время оставаться выше порога.
Ready burn / очередь
- Сначала убедитесь, что
MessengerQueueTelemetryStaleиMessengerReadyTimestampUnknownне firing. Проверьтеsum(increase(messenger_slo_ready_eligible_total{service_name="messenger-outbox"}[1m])), p95 ready и исходы jobs. Счётчикmessenger_slo_ready_bad_totalвключает задания, нарушившие срок. Отсутствие событий не делает SLI хорошим: проверьтеmessenger_queue_depth{service_name="messenger-outbox"}иmessenger_queue_age_seconds{service_name="messenger-outbox"}. - В Loki откройте
{service_name="messenger-worker"}, найдите событие и trace ID. В Tempo проверьте цепочку upload → producer → consumer → S3/DB; посмотрите busy/capacity и состояние broker/worker черезdocker compose ps. - В учебном опыте запустите остановленный worker, наблюдайте уменьшение глубины/возраста и новые ready. Проверьте resolved и метаданные вложений. Не удаляйте volumes и не запускайте replay вслепую.
Повторение экспериментов
python3 student-tests/slo_incidents.py создаёт синтетические данные, ведёт три клиента и выполняет краткую и длительную блокировку таблицы users. Скрипт пишет временные отметки и наблюдения в evidence/slo-incidents.json, не сохраняет tokens; опрашивает alert примерно каждые 5 секунд. python3 student-tests/slo_analyze.py строит сводку, включая срабатывания уже после завершения воздействия. Тест намеренно ухудшает локальный API и занимает несколько минут. Первая отметка воздействия — момент, когда скрипт увидел granted AccessExclusiveLock; окончание — возврат команды транзакции, поэтому обе оценки имеют задержку наблюдения. Анализатор сравнивает приращения UTC и монотонных часов и сохраняет максимальный фактический интервал опроса. Если timing_quality.valid_for_elapsed_time_claims=false, опыт повторяют; причину расхождения часов по этим данным установить нельзя. Аварийное прерывание клиентской команды может оставить server-side pg_sleep до окончания заданного ограниченного времени; проверьте состояние блокировки.
python3 student-tests/slo_ready_incident.py проверяет отсутствие незавершённых заданий, останавливает worker, принимает восемь синтетических файлов и восстанавливает worker в finally. До запуска убедитесь, что API и worker свободны. Результат — evidence/slo-ready-incident.json. Снятие alerts при малом количестве новых событий может означать недостаток событий в коротком окне, а не доказательство выполнения 24-часового SLO.
Проверка правил без стенда и в ускоренном времени:
docker run --rm -v "$PWD:/workspace:ro" --entrypoint promtool prom/prometheus:v3.2.1 test rules /workspace/student-tests/burn_rules.test.yaml
В runbook зафиксируйте фазу, UTC начала/окончания, первый firing и первое наблюдение после исчезновения alert. Первый и последний интервалы ограничены частотой опроса, а отсутствие ложного firing в одном baseline не оценивает долгосрочный false-positive rate.
Проверка другим студентом
Проверяющий не получает команду инъекции заранее. Автор запускает один из двух ограниченных сценариев; проверяющий получает время и имя alert, затем проходит шаги выше. В отдельный протокол записывают: имя проверяющего, UTC, запрос PromQL/LogQL, trace ID, медленный span или отсутствие consumer, диагноз, действие восстановления и свидетельство resolved. Совпадение диагноза с инъекцией проверяют после записи. Пока такого заполненного протокола нет, независимое прохождение runbook не подтверждено.