Files

4.3 KiB
Raw Permalink Blame History

Лабораторная 6: OpenTelemetry и Grafana

Автор: Каменский Андрей, БПИ2301. Целевая оценка: 4.

Мессенджер из lab5 с двумя API-репликами, PostgreSQL, Redis-сессиями, MinIO, Redis Streams broker и worker. Добавлены реальные метрики, структурные логи, сквозные трассы, готовый dashboard и локальные alerts.

Задание · Отчёт · Объяснение · Диагностика инцидентов · Контракт

Запуск

Нужен Docker с Compose v2. При первом запуске образы скачиваются; MinIO собирается из закреплённого commit. Все компоненты входят в репозиторий.

python3 scripts/setup-env.py             # если .env ещё нет
docker compose up -d --build --wait
python3 tests/smoke.py --base-url http://localhost:8086
python3 tests/observability.py --base-url http://localhost:8086

Для просмотра Grafana вход не нужен: anonymous Viewer только на loopback. Для редактирования: admin и GRAFANA_ADMIN_PASSWORD из локального .env. Секреты setup-env.py создаёт случайно, не печатает и не перезаписывает существующий .env. Конфиги datasource/dashboard автоматически загружаются из infra/observability/.

Остановить с сохранением данных: docker compose down. Намеренно удалить все учебные данные текущего проекта: docker compose down --volumes.

Что добавлено

API/worker → OTLP HTTP/protobuf → Collector → Prometheus / Loki / Tempo → Grafana. Метрики отвечают «что и насколько ухудшилось», логи — «какое событие произошло», трасса — «на каком участке потрачено время или возникла ошибка».

W3C context сохраняется в PostgreSQL job/outbox, передаётся через Redis Stream и восстанавливается worker. Upload, producer/consumer, DB и S3 находятся в одной причинной цепочке. При retry следующий producer продолжает consumer предыдущей попытки. X-Request-Id сохранён; дополнительно API возвращает X-Trace-Id.

Dashboard показывает RPS, 5xx, p50/p95/p99 из histogram, jobs/outcomes, время до ready, backlog/возраст, DB pool, worker saturation, CPU/RAM и связанные логи. Labels метрик не содержат пользовательские ID, имена файлов, токены или сырые URL.

Проверки

Быстрый тест запущенного стенда: make test test-observability. Публичные tests skeleton lab6 и контракты не изменены.

python3 -m venv .venv
.venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt
make check validate lint PYTHON=.venv/bin/python
make verify-lab6 PYTHON=.venv/bin/python

Для коротких контролируемых инцидентов уровня «4» на своём учебном стенде:

python3 tests/observability.py --base-url http://localhost:8086 --incidents

Этот тест временно останавливает worker, блокирует INSERT в messages, проверяет alerts firing/resolved и работу API при остановленном Tempo. Все воздействия снимаются в finally. Результаты и реальные traces/logs находятся в evidence/. По умолчанию verify-lab6 запускает только smoke и проверку сигналов.