forked from mtusi2026/mtusi2026lab6
38 lines
3.2 KiB
Markdown
38 lines
3.2 KiB
Markdown
# Лабораторная 6, оценка 5, трек 2: SLO и обнаружение инцидентов
|
||
|
||
После `./scripts/start.sh`: `./scripts/research.sh` (около 11 минут).
|
||
Полный набор проверок вместе с сохранённым минимумом lab5:
|
||
`./scripts/check-lab6.sh` (около 17–20 минут при готовых образах).
|
||
Эксперимент намеренно блокирует messages и останавливает worker своего локального
|
||
синтетического стенда. Отказы ограничены по времени, worker восстанавливается
|
||
в `finally`. Нужны Docker Compose, Python 3.11 и `.venv` с корневыми requirements.
|
||
|
||
Гипотеза: alert по двум окнам не сработает на 4s всплеск, но обнаружит длительную
|
||
деградацию БД и worker; после восстановления станет inactive. Сравнение — простой
|
||
5%/30s alert. Параметры заранее заданы в `infra/otel/alerts.yaml` и `docs/runbook.md`;
|
||
эксперимент их не меняет.
|
||
|
||
Профиль: 2 POST сообщения/сек и 0.5 PNG upload/сек, fixed arrival, максимум
|
||
16 in-flight, без retries. Jobs реально обрабатываются через S3 и broker.
|
||
Baseline 120s → DB spike 4s → recovery 60s → DB lock 90s → recovery 100s →
|
||
worker stopped 120s → recovery 120s. Состояния alerts и backlog читаются каждые 5s
|
||
из Prometheus. SQL/Docker создают и снимают воздействие; причина определяется
|
||
по сохранённым metrics/logs/traces, а не по выводу команды внедрения отказа.
|
||
|
||
Результаты: `evidence/lab6-slo-research.json` (каждый запрос без body/credentials,
|
||
фазы, detection/resolution, p50/p95/p99, RPS), `lab6-slo-series.json`
|
||
(CPU/RSS, pool, saturation и остальные временные ряды),
|
||
`lab6-db-incident-trace.json`, `lab6-db-incident-logs.json`,
|
||
`lab6-worker-incident-trace.json`, `lab6-worker-incident-logs.json`.
|
||
`student-tests/promtool-slo.yaml` дополнительно проверяет правила на повторяемых
|
||
синтетических временных рядах: всплеск, длительный отказ, recovery, stalled jobs,
|
||
нет трафика. Это дополнение к live эксперименту, не замена ему.
|
||
|
||
Ограничения: один Docker-host, небольшие PNG, один live прогон каждого отказа;
|
||
шаг измерения alerts 5s, задержки SDK export/scrape. Часовой SLO задан, но
|
||
эксперимент короче часа: результат проверяет детектор, а не долгосрочную надёжность.
|
||
False-positive count нельзя переносить на другие нагрузки/окна.
|
||
|
||
Историческое исследование lab2: `run.py`, `benchmark.py`, `scripts/research-lab2.sh`,
|
||
[README.lab2.md](README.lab2.md).
|