forked from mtusi2026/mtusi2026lab6
75 lines
4.3 KiB
Markdown
75 lines
4.3 KiB
Markdown
# Лабораторная 6: OpenTelemetry и Grafana
|
||
|
||
Автор: **Каменский Андрей, БПИ2301**. Целевая оценка: **4**.
|
||
|
||
Мессенджер из lab5 с двумя API-репликами, PostgreSQL, Redis-сессиями, MinIO,
|
||
Redis Streams broker и worker. Добавлены реальные метрики, структурные логи,
|
||
сквозные трассы, готовый dashboard и локальные alerts.
|
||
|
||
[Задание](LAB6_TASK.md) · [Отчёт](REPORT.md) · [Объяснение](LAB6_GUIDE.md) ·
|
||
[Диагностика инцидентов](RUNBOOK.md) · [Контракт](contracts/observability.md)
|
||
|
||
## Запуск
|
||
|
||
Нужен Docker с Compose v2. При первом запуске образы скачиваются; MinIO собирается
|
||
из закреплённого commit. Все компоненты входят в репозиторий.
|
||
|
||
```sh
|
||
python3 scripts/setup-env.py # если .env ещё нет
|
||
docker compose up -d --build --wait
|
||
python3 tests/smoke.py --base-url http://localhost:8086
|
||
python3 tests/observability.py --base-url http://localhost:8086
|
||
```
|
||
|
||
- API: http://localhost:8086/docs
|
||
- Grafana: http://localhost:3000/d/messenger-lab6
|
||
- Prometheus / локальные alerts: http://localhost:9090/alerts
|
||
- Tempo API: http://localhost:3200
|
||
- Loki API: http://localhost:3100
|
||
|
||
Для просмотра Grafana вход не нужен: anonymous Viewer только на loopback.
|
||
Для редактирования: admin и GRAFANA_ADMIN_PASSWORD из локального .env.
|
||
Секреты setup-env.py создаёт случайно, не печатает и не перезаписывает существующий
|
||
.env. Конфиги datasource/dashboard автоматически загружаются из infra/observability/.
|
||
|
||
Остановить с сохранением данных: `docker compose down`.
|
||
Намеренно удалить все учебные данные текущего проекта: `docker compose down --volumes`.
|
||
|
||
## Что добавлено
|
||
|
||
API/worker → OTLP HTTP/protobuf → Collector → Prometheus / Loki / Tempo → Grafana.
|
||
Метрики отвечают «что и насколько ухудшилось», логи — «какое событие произошло»,
|
||
трасса — «на каком участке потрачено время или возникла ошибка».
|
||
|
||
W3C context сохраняется в PostgreSQL job/outbox, передаётся через Redis Stream и
|
||
восстанавливается worker. Upload, producer/consumer, DB и S3 находятся в одной
|
||
причинной цепочке. При retry следующий producer продолжает consumer предыдущей
|
||
попытки. X-Request-Id сохранён; дополнительно API возвращает X-Trace-Id.
|
||
|
||
Dashboard показывает RPS, 5xx, p50/p95/p99 из histogram, jobs/outcomes, время до ready,
|
||
backlog/возраст, DB pool, worker saturation, CPU/RAM и связанные логи. Labels метрик
|
||
не содержат пользовательские ID, имена файлов, токены или сырые URL.
|
||
|
||
## Проверки
|
||
|
||
Быстрый тест запущенного стенда: `make test test-observability`.
|
||
Публичные tests skeleton lab6 и контракты не изменены.
|
||
|
||
```sh
|
||
python3 -m venv .venv
|
||
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
|
||
make check validate lint PYTHON=.venv/bin/python
|
||
make verify-lab6 PYTHON=.venv/bin/python
|
||
```
|
||
|
||
Для коротких контролируемых инцидентов уровня «4» на своём учебном стенде:
|
||
|
||
```sh
|
||
python3 tests/observability.py --base-url http://localhost:8086 --incidents
|
||
```
|
||
|
||
Этот тест временно останавливает worker, блокирует INSERT в messages, проверяет
|
||
alerts firing/resolved и работу API при остановленном Tempo. Все воздействия
|
||
снимаются в finally. Результаты и реальные traces/logs находятся в evidence/.
|
||
По умолчанию verify-lab6 запускает только smoke и проверку сигналов.
|