Files

75 lines
4.3 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Лабораторная 6: OpenTelemetry и Grafana
Автор: **Каменский Андрей, БПИ2301**. Целевая оценка: **4**.
Мессенджер из lab5 с двумя API-репликами, PostgreSQL, Redis-сессиями, MinIO,
Redis Streams broker и worker. Добавлены реальные метрики, структурные логи,
сквозные трассы, готовый dashboard и локальные alerts.
[Задание](LAB6_TASK.md) · [Отчёт](REPORT.md) · [Объяснение](LAB6_GUIDE.md) ·
[Диагностика инцидентов](RUNBOOK.md) · [Контракт](contracts/observability.md)
## Запуск
Нужен Docker с Compose v2. При первом запуске образы скачиваются; MinIO собирается
из закреплённого commit. Все компоненты входят в репозиторий.
```sh
python3 scripts/setup-env.py # если .env ещё нет
docker compose up -d --build --wait
python3 tests/smoke.py --base-url http://localhost:8086
python3 tests/observability.py --base-url http://localhost:8086
```
- API: http://localhost:8086/docs
- Grafana: http://localhost:3000/d/messenger-lab6
- Prometheus / локальные alerts: http://localhost:9090/alerts
- Tempo API: http://localhost:3200
- Loki API: http://localhost:3100
Для просмотра Grafana вход не нужен: anonymous Viewer только на loopback.
Для редактирования: admin и GRAFANA_ADMIN_PASSWORD из локального .env.
Секреты setup-env.py создаёт случайно, не печатает и не перезаписывает существующий
.env. Конфиги datasource/dashboard автоматически загружаются из infra/observability/.
Остановить с сохранением данных: `docker compose down`.
Намеренно удалить все учебные данные текущего проекта: `docker compose down --volumes`.
## Что добавлено
API/worker → OTLP HTTP/protobuf → Collector → Prometheus / Loki / Tempo → Grafana.
Метрики отвечают «что и насколько ухудшилось», логи — «какое событие произошло»,
трасса — «на каком участке потрачено время или возникла ошибка».
W3C context сохраняется в PostgreSQL job/outbox, передаётся через Redis Stream и
восстанавливается worker. Upload, producer/consumer, DB и S3 находятся в одной
причинной цепочке. При retry следующий producer продолжает consumer предыдущей
попытки. X-Request-Id сохранён; дополнительно API возвращает X-Trace-Id.
Dashboard показывает RPS, 5xx, p50/p95/p99 из histogram, jobs/outcomes, время до ready,
backlog/возраст, DB pool, worker saturation, CPU/RAM и связанные логи. Labels метрик
не содержат пользовательские ID, имена файлов, токены или сырые URL.
## Проверки
Быстрый тест запущенного стенда: `make test test-observability`.
Публичные tests skeleton lab6 и контракты не изменены.
```sh
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make check validate lint PYTHON=.venv/bin/python
make verify-lab6 PYTHON=.venv/bin/python
```
Для коротких контролируемых инцидентов уровня «4» на своём учебном стенде:
```sh
python3 tests/observability.py --base-url http://localhost:8086 --incidents
```
Этот тест временно останавливает worker, блокирует INSERT в messages, проверяет
alerts firing/resolved и работу API при остановленном Tempo. Все воздействия
снимаются в finally. Результаты и реальные traces/logs находятся в evidence/.
По умолчанию verify-lab6 запускает только smoke и проверку сигналов.