LR6: monitoring and SLO

This commit is contained in:
R0flyan
2026-11-19 19:24:45 +03:00
parent 470d9d6f1e
commit 6a9c4175a4
75 changed files with 8734 additions and 42 deletions
+40 -14
View File
@@ -1,18 +1,44 @@
## Лабораторная 6
Автор / группа: TODO
Целевая оценка (3/4/5): TODO
Трек 5, если заявлен: TODO
- Автор и группа — Ситосенко, БВТ2303.
- Целевая оценка — **5**, трек 2 «SLO и обнаружение инцидентов».
Что реализовано и что перенесено: TODO
Команды запуска из чистого clone: TODO
Результаты проверок и ссылка на REPORT.md: TODO
Ограничения / известные ошибки: TODO
Источники и использование ИИ: TODO
### Что реализовано
- [ ] Весь обязательный минимум текущей и предыдущих работ сохранён с объявленными переходами.
- [ ] Контракт и публичные тесты не ослаблены.
- [ ] make check и make test выполнены; приложен реальный вывод.
- [ ] Сценарии отказов/безопасности своего уровня воспроизведены.
- [ ] Все секреты и приватные ключи находятся вне Git; отчёт не содержит tokens.
- [ ] README задания сохранён, REPORT.md содержит инструкцию именно моего решения.
- Перенесена основа Lab5. HAProxy, две API-реплики, PostgreSQL, Valkey для сессий и брокера, приватный MinIO, транзакционный outbox и отдельный worker сохраняют бизнес-API.
- API, dispatcher и worker отправляют метрики, логи и трассы по OTLP. Добавлены Collector, Prometheus, Loki, Tempo, Grafana provisioning и дашборд с 18 панелями.
- W3C Trace Context проходит через PostgreSQL и Valkey Stream. По одному trace ID видны upload, публикация, ошибка обработки, retry, запись в S3 и PostgreSQL.
- Для API и ready заданы SLO с окном 30 минут, две пары окон burn rate и отдельный alert по возрасту очереди. В [runbook](../RUNBOOK.md) описана диагностика.
### Запуск из чистого clone
```sh
python3 scripts/bootstrap.py
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait --wait-timeout 180
make check
make test BASE_URL=http://127.0.0.1:8080
```
Grafana доступна на порту 3000, правила Prometheus — на 9090. Команды прогонов и исходные замеры приведены в [REPORT.md](../REPORT.md).
### Результаты
- Публичные `make check`, `make validate` и `make test` прошли. Проверены форматы изображений, правила Prometheus, три источника Grafana и связь логов и трасс.
- Persistence и failover прошли для обеих API-реплик. Задание очереди и сообщение с queued-вложением сохранились после рестарта API и брокера.
- Короткая блокировка таблицы сообщений дала 6 ответов 503. Firing отсутствовал. При длительной блокировке сработали два API-алерта. В trace найден ошибочный SQL span длительностью около 1 с.
- При остановке worker backlog достиг 60 заданий. После восстановления все 77 загрузок из окна отказа и запуска дошли до ready. Очередь опустела, алерты вернулись в inactive.
- При отключении Tempo проверены запись сообщений, появление ready для вложения, конечные потери spans и восстановление экспорта. Замеры и ограничения приведены в отчёте.
### Ограничения и источники
Один учебный хост и синтетический профиль. API SLI покрывает ответы самого приложения на известных маршрутах. Буферы telemetry в памяти ограничены, поэтому во время длительного отказа backend возможна потеря сигналов.
Для реализации и проверки использованы документация [OpenTelemetry](https://opentelemetry.io/docs/), [Prometheus](https://prometheus.io/docs/), [Grafana](https://grafana.com/docs/) и [Google SRE Workbook](https://sre.google/workbook/alerting-on-slos/). Codex использован для переноса, инструментирования, подготовки сценариев, проверки и оформления материалов.
- [x] Обязательный минимум текущей и предыдущих работ сохранён.
- [x] Публичные тесты и контракт сохранены.
- [x] Вывод `make check` и `make test` приложен.
- [x] Воспроизведены сценарии отказов для заявленного уровня.
- [x] Секреты локальные и исключены из Git. В отчёте нет токенов.
- [x] README задания сохранён. Инструкция запуска и результаты находятся в REPORT.md.