3.2 KiB
Лабораторная 6, оценка 5, трек 2: SLO и обнаружение инцидентов
После ./scripts/start.sh: ./scripts/research.sh (около 11 минут).
Полный набор проверок вместе с сохранённым минимумом lab5:
./scripts/check-lab6.sh (около 17–20 минут при готовых образах).
Эксперимент намеренно блокирует messages и останавливает worker своего локального
синтетического стенда. Отказы ограничены по времени, worker восстанавливается
в finally. Нужны Docker Compose, Python 3.11 и .venv с корневыми requirements.
Гипотеза: alert по двум окнам не сработает на 4s всплеск, но обнаружит длительную
деградацию БД и worker; после восстановления станет inactive. Сравнение — простой
5%/30s alert. Параметры заранее заданы в infra/otel/alerts.yaml и docs/runbook.md;
эксперимент их не меняет.
Профиль: 2 POST сообщения/сек и 0.5 PNG upload/сек, fixed arrival, максимум 16 in-flight, без retries. Jobs реально обрабатываются через S3 и broker. Baseline 120s → DB spike 4s → recovery 60s → DB lock 90s → recovery 100s → worker stopped 120s → recovery 120s. Состояния alerts и backlog читаются каждые 5s из Prometheus. SQL/Docker создают и снимают воздействие; причина определяется по сохранённым metrics/logs/traces, а не по выводу команды внедрения отказа.
Результаты: evidence/lab6-slo-research.json (каждый запрос без body/credentials,
фазы, detection/resolution, p50/p95/p99, RPS), lab6-slo-series.json
(CPU/RSS, pool, saturation и остальные временные ряды),
lab6-db-incident-trace.json, lab6-db-incident-logs.json,
lab6-worker-incident-trace.json, lab6-worker-incident-logs.json.
student-tests/promtool-slo.yaml дополнительно проверяет правила на повторяемых
синтетических временных рядах: всплеск, длительный отказ, recovery, stalled jobs,
нет трафика. Это дополнение к live эксперименту, не замена ему.
Ограничения: один Docker-host, небольшие PNG, один live прогон каждого отказа; шаг измерения alerts 5s, задержки SDK export/scrape. Часовой SLO задан, но эксперимент короче часа: результат проверяет детектор, а не долгосрочную надёжность. False-positive count нельзя переносить на другие нагрузки/окна.
Историческое исследование lab2: run.py, benchmark.py, scripts/research-lab2.sh,
README.lab2.md.