Реализовать лабораторную 6 на 5: SLO и обнаружение инцидентов

This commit is contained in:
Ванек
2026-11-19 18:53:24 +03:00
parent 470d9d6f1e
commit 8dad129edf
127 changed files with 53496 additions and 61 deletions
+52 -15
View File
@@ -1,18 +1,55 @@
## Лабораторная 6
## Лабораторная 6 — наблюдаемость, оценка 5, трек 2
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
Автор / группа: Савельев Иван / БВТ2304.
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
### Результат
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
Сохранён работающий pipeline lab5. Добавлены явный OTel SDK для API/worker/publisher,
Collector, Prometheus, Loki, Tempo и Grafana с provisioning трёх источников и
импортируемым dashboard на 19 панелей. W3C context хранится в durable job/outbox,
проходит через broker и сохраняет цепочку при retry до S3/DB ready.
Реализованы SLO доступности API 99%/1h и готовности изображения 95% за 30s/1h.
SLI изображений учитывает failed, late и не завершившиеся jobs. Fast/slow burn
alerts используют пары 2m/30s и 6m/1m, guards и for; есть high error rate и queue lag.
Исследование сравнивает короткий всплеск с длительными отказами DB/worker,
измеряет detection/resolution и ложные срабатывания. Разбор причин использует
сохранённые метрики, логи и реальные traces; запросы собраны в runbook.
### Запуск и проверки
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
./scripts/start.sh
./scripts/check-lab6.sh
```
- API: http://localhost:8080.
- Dashboard: http://localhost:3000/d/messenger-lab6, локальный Viewer.
- [Отчёт, результаты, версии и ограничения](../REPORT.md).
- [Runbook](../docs/runbook.md), [методика](../research/README.md).
- API/39 собственных tests: `evidence/lab6-api-checks.txt`.
- 17 групп сохранённых критериев lab5: `evidence/lab6-lab5-regression.json`.
- Trace с retry и логи: `evidence/lab6-trace-retry.json`, `evidence/lab6-correlated-logs.json`.
- Loki outage/ограниченная RAM/измеренные потери: `evidence/lab6-checks.json`.
- Реальные restart/volumes: `evidence/lab6-restart.json`, `evidence/lab6-telemetry-persistence.json`.
- Трек 2: `evidence/lab6-slo-research.json`, `evidence/lab6-slo-series.json`.
- Проверки правил: `evidence/lab6-promtool.txt`.
### Ограничения
Один host; потеря диска/volumes не покрыта. Telemetry buffer ограничен и допускает
измеряемые потери при недоступном backend. SLO периода час задан, но один короткий
live эксперимент проверяет детектор, а не долгосрочную надёжность. Отказы LB/сети
до API требуют отдельного внешнего SLI. Внешняя доставка alerts не требуется.
Источники — ТЗ и официальная документация OTel, W3C, Grafana/Prometheus и Google SRE
Workbook; ссылки в REPORT.md. Реализация и проверки подготовлены с помощью Codex.
- [x] Минимум предыдущей работы сохранён.
- [x] Обязательные контракты и публичные tests не изменены.
- [x] Три сигнала поступают в реальные persistent stores; dashboard provisioned из Git.
- [x] Секреты, тела сообщений/изображений и SQL/params не экспортируются.
- [x] Локальные .env/secrets и runtime artifacts исключены из Git.
- [x] Условия alerts, окна, for и runbook сохранены в Git.