Лабораторная 6: OpenTelemetry и Grafana
Автор: Каменский Андрей, БПИ2301. Целевая оценка: 4.
Мессенджер из lab5 с двумя API-репликами, PostgreSQL, Redis-сессиями, MinIO, Redis Streams broker и worker. Добавлены реальные метрики, структурные логи, сквозные трассы, готовый dashboard и локальные alerts.
Задание · Отчёт · Объяснение · Диагностика инцидентов · Контракт
Запуск
Нужен Docker с Compose v2. При первом запуске образы скачиваются; MinIO собирается из закреплённого commit. Все компоненты входят в репозиторий.
python3 scripts/setup-env.py # если .env ещё нет
docker compose up -d --build --wait
python3 tests/smoke.py --base-url http://localhost:8086
python3 tests/observability.py --base-url http://localhost:8086
- API: http://localhost:8086/docs
- Grafana: http://localhost:3000/d/messenger-lab6
- Prometheus / локальные alerts: http://localhost:9090/alerts
- Tempo API: http://localhost:3200
- Loki API: http://localhost:3100
Для просмотра Grafana вход не нужен: anonymous Viewer только на loopback. Для редактирования: admin и GRAFANA_ADMIN_PASSWORD из локального .env. Секреты setup-env.py создаёт случайно, не печатает и не перезаписывает существующий .env. Конфиги datasource/dashboard автоматически загружаются из infra/observability/.
Остановить с сохранением данных: docker compose down.
Намеренно удалить все учебные данные текущего проекта: docker compose down --volumes.
Что добавлено
API/worker → OTLP HTTP/protobuf → Collector → Prometheus / Loki / Tempo → Grafana. Метрики отвечают «что и насколько ухудшилось», логи — «какое событие произошло», трасса — «на каком участке потрачено время или возникла ошибка».
W3C context сохраняется в PostgreSQL job/outbox, передаётся через Redis Stream и восстанавливается worker. Upload, producer/consumer, DB и S3 находятся в одной причинной цепочке. При retry следующий producer продолжает consumer предыдущей попытки. X-Request-Id сохранён; дополнительно API возвращает X-Trace-Id.
Dashboard показывает RPS, 5xx, p50/p95/p99 из histogram, jobs/outcomes, время до ready, backlog/возраст, DB pool, worker saturation, CPU/RAM и связанные логи. Labels метрик не содержат пользовательские ID, имена файлов, токены или сырые URL.
Проверки
Быстрый тест запущенного стенда: make test test-observability.
Публичные tests skeleton lab6 и контракты не изменены.
python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make check validate lint PYTHON=.venv/bin/python
make verify-lab6 PYTHON=.venv/bin/python
Для коротких контролируемых инцидентов уровня «4» на своём учебном стенде:
python3 tests/observability.py --base-url http://localhost:8086 --incidents
Этот тест временно останавливает worker, блокирует INSERT в messages, проверяет alerts firing/resolved и работу API при остановленном Tempo. Все воздействия снимаются в finally. Результаты и реальные traces/logs находятся в evidence/. По умолчанию verify-lab6 запускает только smoke и проверку сигналов.