LR6: monitoring and SLO
This commit is contained in:
@@ -1,18 +1,44 @@
|
||||
## Лабораторная 6
|
||||
|
||||
Автор / группа: TODO
|
||||
Целевая оценка (3/4/5): TODO
|
||||
Трек 5, если заявлен: TODO
|
||||
- Автор и группа — Ситосенко, БВТ2303.
|
||||
- Целевая оценка — **5**, трек 2 «SLO и обнаружение инцидентов».
|
||||
|
||||
Что реализовано и что перенесено: TODO
|
||||
Команды запуска из чистого clone: TODO
|
||||
Результаты проверок и ссылка на REPORT.md: TODO
|
||||
Ограничения / известные ошибки: TODO
|
||||
Источники и использование ИИ: TODO
|
||||
### Что реализовано
|
||||
|
||||
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
|
||||
- [ ] Контракт и публичные тесты не ослаблены.
|
||||
- [ ] make check и make test выполнены; приложен реальный вывод.
|
||||
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
|
||||
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
|
||||
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
|
||||
- Перенесена основа Lab5. HAProxy, две API-реплики, PostgreSQL, Valkey для сессий и брокера, приватный MinIO, транзакционный outbox и отдельный worker сохраняют бизнес-API.
|
||||
- API, dispatcher и worker отправляют метрики, логи и трассы по OTLP. Добавлены Collector, Prometheus, Loki, Tempo, Grafana provisioning и дашборд с 18 панелями.
|
||||
- W3C Trace Context проходит через PostgreSQL и Valkey Stream. По одному trace ID видны upload, публикация, ошибка обработки, retry, запись в S3 и PostgreSQL.
|
||||
- Для API и ready заданы SLO с окном 30 минут, две пары окон burn rate и отдельный alert по возрасту очереди. В [runbook](../RUNBOOK.md) описана диагностика.
|
||||
|
||||
### Запуск из чистого clone
|
||||
|
||||
```sh
|
||||
python3 scripts/bootstrap.py
|
||||
docker compose --env-file .env config --quiet
|
||||
docker compose --env-file .env up -d --build --wait --wait-timeout 180
|
||||
make check
|
||||
make test BASE_URL=http://127.0.0.1:8080
|
||||
```
|
||||
|
||||
Grafana доступна на порту 3000, правила Prometheus — на 9090. Команды прогонов и исходные замеры приведены в [REPORT.md](../REPORT.md).
|
||||
|
||||
### Результаты
|
||||
|
||||
- Публичные `make check`, `make validate` и `make test` прошли. Проверены форматы изображений, правила Prometheus, три источника Grafana и связь логов и трасс.
|
||||
- Persistence и failover прошли для обеих API-реплик. Задание очереди и сообщение с queued-вложением сохранились после рестарта API и брокера.
|
||||
- Короткая блокировка таблицы сообщений дала 6 ответов 503. Firing отсутствовал. При длительной блокировке сработали два API-алерта. В trace найден ошибочный SQL span длительностью около 1 с.
|
||||
- При остановке worker backlog достиг 60 заданий. После восстановления все 77 загрузок из окна отказа и запуска дошли до ready. Очередь опустела, алерты вернулись в inactive.
|
||||
- При отключении Tempo проверены запись сообщений, появление ready для вложения, конечные потери spans и восстановление экспорта. Замеры и ограничения приведены в отчёте.
|
||||
|
||||
### Ограничения и источники
|
||||
|
||||
Один учебный хост и синтетический профиль. API SLI покрывает ответы самого приложения на известных маршрутах. Буферы telemetry в памяти ограничены, поэтому во время длительного отказа backend возможна потеря сигналов.
|
||||
|
||||
Для реализации и проверки использованы документация [OpenTelemetry](https://opentelemetry.io/docs/), [Prometheus](https://prometheus.io/docs/), [Grafana](https://grafana.com/docs/) и [Google SRE Workbook](https://sre.google/workbook/alerting-on-slos/). Codex использован для переноса, инструментирования, подготовки сценариев, проверки и оформления материалов.
|
||||
|
||||
- [x] Обязательный минимум текущей и предыдущих работ сохранён.
|
||||
- [x] Публичные тесты и контракт сохранены.
|
||||
- [x] Вывод `make check` и `make test` приложен.
|
||||
- [x] Воспроизведены сценарии отказов для заявленного уровня.
|
||||
- [x] Секреты локальные и исключены из Git. В отчёте нет токенов.
|
||||
- [x] README задания сохранён. Инструкция запуска и результаты находятся в REPORT.md.
|
||||
|
||||
Reference in New Issue
Block a user