Files
mtusi2026lab6/research/README.md

38 lines
3.2 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Лабораторная 6, оценка 5, трек 2: SLO и обнаружение инцидентов
После `./scripts/start.sh`: `./scripts/research.sh` (около 11 минут).
Полный набор проверок вместе с сохранённым минимумом lab5:
`./scripts/check-lab6.sh` (около 17–20 минут при готовых образах).
Эксперимент намеренно блокирует messages и останавливает worker своего локального
синтетического стенда. Отказы ограничены по времени, worker восстанавливается
в `finally`. Нужны Docker Compose, Python 3.11 и `.venv` с корневыми requirements.
Гипотеза: alert по двум окнам не сработает на 4s всплеск, но обнаружит длительную
деградацию БД и worker; после восстановления станет inactive. Сравнение — простой
5%/30s alert. Параметры заранее заданы в `infra/otel/alerts.yaml` и `docs/runbook.md`;
эксперимент их не меняет.
Профиль: 2 POST сообщения/сек и 0.5 PNG upload/сек, fixed arrival, максимум
16 in-flight, без retries. Jobs реально обрабатываются через S3 и broker.
Baseline 120s → DB spike 4s → recovery 60s → DB lock 90s → recovery 100s →
worker stopped 120s → recovery 120s. Состояния alerts и backlog читаются каждые 5s
из Prometheus. SQL/Docker создают и снимают воздействие; причина определяется
по сохранённым metrics/logs/traces, а не по выводу команды внедрения отказа.
Результаты: `evidence/lab6-slo-research.json` (каждый запрос без body/credentials,
фазы, detection/resolution, p50/p95/p99, RPS), `lab6-slo-series.json`
(CPU/RSS, pool, saturation и остальные временные ряды),
`lab6-db-incident-trace.json`, `lab6-db-incident-logs.json`,
`lab6-worker-incident-trace.json`, `lab6-worker-incident-logs.json`.
`student-tests/promtool-slo.yaml` дополнительно проверяет правила на повторяемых
синтетических временных рядах: всплеск, длительный отказ, recovery, stalled jobs,
нет трафика. Это дополнение к live эксперименту, не замена ему.
Ограничения: один Docker-host, небольшие PNG, один live прогон каждого отказа;
шаг измерения alerts 5s, задержки SDK export/scrape. Часовой SLO задан, но
эксперимент короче часа: результат проверяет детектор, а не долгосрочную надёжность.
False-positive count нельзя переносить на другие нагрузки/окна.
Историческое исследование lab2: `run.py`, `benchmark.py`, `scripts/research-lab2.sh`,
[README.lab2.md](README.lab2.md).