3.8 KiB
Лабораторная 6 — наблюдаемость, оценка 5, трек 2
Автор / группа: Савельев Иван / БВТ2304.
Результат
Сохранён работающий pipeline lab5. Добавлены явный OTel SDK для API/worker/publisher, Collector, Prometheus, Loki, Tempo и Grafana с provisioning трёх источников и импортируемым dashboard на 19 панелей. W3C context хранится в durable job/outbox, проходит через broker и сохраняет цепочку при retry до S3/DB ready.
Реализованы SLO доступности API 99%/1h и готовности изображения 95% за 30s/1h. SLI изображений учитывает failed, late и не завершившиеся jobs. Fast/slow burn alerts используют пары 2m/30s и 6m/1m, guards и for; есть high error rate и queue lag. Исследование сравнивает короткий всплеск с длительными отказами DB/worker, измеряет detection/resolution и ложные срабатывания. Разбор причин использует сохранённые метрики, логи и реальные traces; запросы собраны в runbook.
Запуск и проверки
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
./scripts/start.sh
./scripts/check-lab6.sh
- API: http://localhost:8080.
- Dashboard: http://localhost:3000/d/messenger-lab6, локальный Viewer.
- Отчёт, результаты, версии и ограничения.
- Runbook, методика.
- API/39 собственных tests:
evidence/lab6-api-checks.txt. - 17 групп сохранённых критериев lab5:
evidence/lab6-lab5-regression.json. - Trace с retry и логи:
evidence/lab6-trace-retry.json,evidence/lab6-correlated-logs.json. - Loki outage/ограниченная RAM/измеренные потери:
evidence/lab6-checks.json. - Реальные restart/volumes:
evidence/lab6-restart.json,evidence/lab6-telemetry-persistence.json. - Трек 2:
evidence/lab6-slo-research.json,evidence/lab6-slo-series.json. - Проверки правил:
evidence/lab6-promtool.txt.
Ограничения
Один host; потеря диска/volumes не покрыта. Telemetry buffer ограничен и допускает измеряемые потери при недоступном backend. SLO периода час задан, но один короткий live эксперимент проверяет детектор, а не долгосрочную надёжность. Отказы LB/сети до API требуют отдельного внешнего SLI. Внешняя доставка alerts не требуется.
Источники — ТЗ и официальная документация OTel, W3C, Grafana/Prometheus и Google SRE Workbook; ссылки в REPORT.md. Реализация и проверки подготовлены с помощью Codex.
- Минимум предыдущей работы сохранён.
- Обязательные контракты и публичные tests не изменены.
- Три сигнала поступают в реальные persistent stores; dashboard provisioned из Git.
- Секреты, тела сообщений/изображений и SQL/params не экспортируются.
- Локальные .env/secrets и runtime artifacts исключены из Git.
- Условия alerts, окна, for и runbook сохранены в Git.