Files
mtusi2026lab6/research

Лабораторная 6, оценка 5, трек 2: SLO и обнаружение инцидентов

После ./scripts/start.sh: ./scripts/research.sh (около 11 минут). Полный набор проверок вместе с сохранённым минимумом lab5: ./scripts/check-lab6.sh (около 17–20 минут при готовых образах). Эксперимент намеренно блокирует messages и останавливает worker своего локального синтетического стенда. Отказы ограничены по времени, worker восстанавливается в finally. Нужны Docker Compose, Python 3.11 и .venv с корневыми requirements.

Гипотеза: alert по двум окнам не сработает на 4s всплеск, но обнаружит длительную деградацию БД и worker; после восстановления станет inactive. Сравнение — простой 5%/30s alert. Параметры заранее заданы в infra/otel/alerts.yaml и docs/runbook.md; эксперимент их не меняет.

Профиль: 2 POST сообщения/сек и 0.5 PNG upload/сек, fixed arrival, максимум 16 in-flight, без retries. Jobs реально обрабатываются через S3 и broker. Baseline 120s → DB spike 4s → recovery 60s → DB lock 90s → recovery 100s → worker stopped 120s → recovery 120s. Состояния alerts и backlog читаются каждые 5s из Prometheus. SQL/Docker создают и снимают воздействие; причина определяется по сохранённым metrics/logs/traces, а не по выводу команды внедрения отказа.

Результаты: evidence/lab6-slo-research.json (каждый запрос без body/credentials, фазы, detection/resolution, p50/p95/p99, RPS), lab6-slo-series.json (CPU/RSS, pool, saturation и остальные временные ряды), lab6-db-incident-trace.json, lab6-db-incident-logs.json, lab6-worker-incident-trace.json, lab6-worker-incident-logs.json. student-tests/promtool-slo.yaml дополнительно проверяет правила на повторяемых синтетических временных рядах: всплеск, длительный отказ, recovery, stalled jobs, нет трафика. Это дополнение к live эксперименту, не замена ему.

Ограничения: один Docker-host, небольшие PNG, один live прогон каждого отказа; шаг измерения alerts 5s, задержки SDK export/scrape. Часовой SLO задан, но эксперимент короче часа: результат проверяет детектор, а не долгосрочную надёжность. False-positive count нельзя переносить на другие нагрузки/окна.

Историческое исследование lab2: run.py, benchmark.py, scripts/research-lab2.sh, README.lab2.md.