45 lines
4.5 KiB
Markdown
45 lines
4.5 KiB
Markdown
## Лабораторная 6
|
|
|
|
- Автор и группа — Ситосенко, БВТ2303.
|
|
- Целевая оценка — **5**, трек 2 «SLO и обнаружение инцидентов».
|
|
|
|
### Что реализовано
|
|
|
|
- Перенесена основа Lab5. HAProxy, две API-реплики, PostgreSQL, Valkey для сессий и брокера, приватный MinIO, транзакционный outbox и отдельный worker сохраняют бизнес-API.
|
|
- API, dispatcher и worker отправляют метрики, логи и трассы по OTLP. Добавлены Collector, Prometheus, Loki, Tempo, Grafana provisioning и дашборд с 18 панелями.
|
|
- W3C Trace Context проходит через PostgreSQL и Valkey Stream. По одному trace ID видны upload, публикация, ошибка обработки, retry, запись в S3 и PostgreSQL.
|
|
- Для API и ready заданы SLO с окном 30 минут, две пары окон burn rate и отдельный alert по возрасту очереди. В [runbook](../RUNBOOK.md) описана диагностика.
|
|
|
|
### Запуск из чистого clone
|
|
|
|
```sh
|
|
python3 scripts/bootstrap.py
|
|
docker compose --env-file .env config --quiet
|
|
docker compose --env-file .env up -d --build --wait --wait-timeout 180
|
|
make check
|
|
make test BASE_URL=http://127.0.0.1:8080
|
|
```
|
|
|
|
Grafana доступна на порту 3000, правила Prometheus — на 9090. Команды прогонов и исходные замеры приведены в [REPORT.md](../REPORT.md).
|
|
|
|
### Результаты
|
|
|
|
- Публичные `make check`, `make validate` и `make test` прошли. Проверены форматы изображений, правила Prometheus, три источника Grafana и связь логов и трасс.
|
|
- Persistence и failover прошли для обеих API-реплик. Задание очереди и сообщение с queued-вложением сохранились после рестарта API и брокера.
|
|
- Короткая блокировка таблицы сообщений дала 6 ответов 503. Firing отсутствовал. При длительной блокировке сработали два API-алерта. В trace найден ошибочный SQL span длительностью около 1 с.
|
|
- При остановке worker backlog достиг 60 заданий. После восстановления все 77 загрузок из окна отказа и запуска дошли до ready. Очередь опустела, алерты вернулись в inactive.
|
|
- При отключении Tempo проверены запись сообщений, появление ready для вложения, конечные потери spans и восстановление экспорта. Замеры и ограничения приведены в отчёте.
|
|
|
|
### Ограничения и источники
|
|
|
|
Один учебный хост и синтетический профиль. API SLI покрывает ответы самого приложения на известных маршрутах. Буферы telemetry в памяти ограничены, поэтому во время длительного отказа backend возможна потеря сигналов.
|
|
|
|
Для реализации и проверки использованы документация [OpenTelemetry](https://opentelemetry.io/docs/), [Prometheus](https://prometheus.io/docs/), [Grafana](https://grafana.com/docs/) и [Google SRE Workbook](https://sre.google/workbook/alerting-on-slos/). Codex использован для переноса, инструментирования, подготовки сценариев, проверки и оформления материалов.
|
|
|
|
- [x] Обязательный минимум текущей и предыдущих работ сохранён.
|
|
- [x] Публичные тесты и контракт сохранены.
|
|
- [x] Вывод `make check` и `make test` приложен.
|
|
- [x] Воспроизведены сценарии отказов для заявленного уровня.
|
|
- [x] Секреты локальные и исключены из Git. В отчёте нет токенов.
|
|
- [x] README задания сохранён. Инструкция запуска и результаты находятся в REPORT.md.
|