# Лабораторная 6: OpenTelemetry и Grafana Автор: **Каменский Андрей, БПИ2301**. Целевая оценка: **4**. Мессенджер из lab5 с двумя API-репликами, PostgreSQL, Redis-сессиями, MinIO, Redis Streams broker и worker. Добавлены реальные метрики, структурные логи, сквозные трассы, готовый dashboard и локальные alerts. [Задание](LAB6_TASK.md) · [Отчёт](REPORT.md) · [Объяснение](LAB6_GUIDE.md) · [Диагностика инцидентов](RUNBOOK.md) · [Контракт](contracts/observability.md) ## Запуск Нужен Docker с Compose v2. При первом запуске образы скачиваются; MinIO собирается из закреплённого commit. Все компоненты входят в репозиторий. ```sh python3 scripts/setup-env.py # если .env ещё нет docker compose up -d --build --wait python3 tests/smoke.py --base-url http://localhost:8086 python3 tests/observability.py --base-url http://localhost:8086 ``` - API: http://localhost:8086/docs - Grafana: http://localhost:3000/d/messenger-lab6 - Prometheus / локальные alerts: http://localhost:9090/alerts - Tempo API: http://localhost:3200 - Loki API: http://localhost:3100 Для просмотра Grafana вход не нужен: anonymous Viewer только на loopback. Для редактирования: admin и GRAFANA_ADMIN_PASSWORD из локального .env. Секреты setup-env.py создаёт случайно, не печатает и не перезаписывает существующий .env. Конфиги datasource/dashboard автоматически загружаются из infra/observability/. Остановить с сохранением данных: `docker compose down`. Намеренно удалить все учебные данные текущего проекта: `docker compose down --volumes`. ## Что добавлено API/worker → OTLP HTTP/protobuf → Collector → Prometheus / Loki / Tempo → Grafana. Метрики отвечают «что и насколько ухудшилось», логи — «какое событие произошло», трасса — «на каком участке потрачено время или возникла ошибка». W3C context сохраняется в PostgreSQL job/outbox, передаётся через Redis Stream и восстанавливается worker. Upload, producer/consumer, DB и S3 находятся в одной причинной цепочке. При retry следующий producer продолжает consumer предыдущей попытки. X-Request-Id сохранён; дополнительно API возвращает X-Trace-Id. Dashboard показывает RPS, 5xx, p50/p95/p99 из histogram, jobs/outcomes, время до ready, backlog/возраст, DB pool, worker saturation, CPU/RAM и связанные логи. Labels метрик не содержат пользовательские ID, имена файлов, токены или сырые URL. ## Проверки Быстрый тест запущенного стенда: `make test test-observability`. Публичные tests skeleton lab6 и контракты не изменены. ```sh python3 -m venv .venv .venv/bin/python -m pip install -r requirements.txt -r requirements-dev.txt make check validate lint PYTHON=.venv/bin/python make verify-lab6 PYTHON=.venv/bin/python ``` Для коротких контролируемых инцидентов уровня «4» на своём учебном стенде: ```sh python3 tests/observability.py --base-url http://localhost:8086 --incidents ``` Этот тест временно останавливает worker, блокирует INSERT в messages, проверяет alerts firing/resolved и работу API при остановленном Tempo. Все воздействия снимаются в finally. Результаты и реальные traces/logs находятся в evidence/. По умолчанию verify-lab6 запускает только smoke и проверку сигналов.