9.8 KiB
Отчёт — лабораторная 6
- Автор, группа: Перевалова Виктория, БПИ2302
- Целевая оценка: 3
- Выбранный трек 5: не заявляется
- Commit/PR: будет указан после публикации
- Использованные источники, библиотеки и помощь ИИ: OpenTelemetry SDK, OpenTelemetry Collector, Prometheus, Loki, Tempo, Grafana, FastAPI Instrumentation, SQLAlchemy Instrumentation. При разработке и отладке использовалась помощь ChatGPT. Документация: OpenTelemetry, Prometheus, Grafana.
Запуск из чистого clone
Требования
- Python 3.11;
- Docker;
- Docker Compose;
- Git.
Подготовка
Клонировать репозиторий, перейти в каталог проекта и создать виртуальное окружение:
python -m venv .venv
.\.venv\Scripts\Activate.ps1
Установить зависимости:
python -m pip install -r requirements.txt
Создать локальный .env на основе .env.example и заполнить необходимые настройки. Секреты должны храниться локально и не добавляться в Git.
Запуск инфраструктуры
Проверить конфигурацию:
docker compose config --quiet
Собрать и запустить стенд:
docker compose up -d --build
Проверить состояние контейнеров:
docker compose ps
Проверки
Проверка структуры и синтаксиса:
python scripts/check_contract.py
Публичный smoke-тест:
python tests/smoke.py --base-url "http://localhost:18082"
Нагрузочный тест:
python tests/load.py --base-url "http://localhost:18082"
Адреса сервисов
- API через Nginx:
http://localhost:18082 - Grafana:
http://localhost:13000 - Prometheus:
http://localhost:19090
Остановка
docker compose down
Для полного удаления учебных данных вместе с постоянными томами:
docker compose down -v
Последняя команда удаляет сохранённые данные и применяется только при намеренном сбросе стенда.
Архитектура и решения
В лабораторной реализована система наблюдаемости приложения обработки сообщений и вложений.
Основные компоненты
| Компонент | Назначение |
|---|---|
| API | Обработка HTTP-запросов |
| PostgreSQL | Хранение данных приложения |
| RabbitMQ | Передача фоновых заданий |
| SeaweedFS | Хранение файлов и вложений |
| Worker | Фоновая обработка изображений |
| Outbox Publisher | Публикация фоновых заданий |
| Nginx | Точка входа к API |
| OpenTelemetry Collector | Приём и маршрутизация телеметрии |
| Prometheus | Хранение метрик |
| Loki | Хранение логов |
| Tempo | Хранение распределённых трасс |
| Grafana | Визуализация и анализ телеметрии |
Архитектура наблюдаемости
API и Worker отправляют телеметрию по протоколу OTLP в OpenTelemetry Collector.
Collector передаёт данные в соответствующие хранилища:
- метрики — Prometheus;
- логи — Loki;
- трассы — Tempo.
Grafana использует эти хранилища как источники данных и предоставляет единый интерфейс для анализа состояния приложения.
Конфигурационные файлы
observability/otel-collector-config.yaml— конфигурация OpenTelemetry Collector.observability/prometheus.yml— конфигурация Prometheus.observability/loki-config.yaml— конфигурация Loki.observability/tempo-config.yaml— конфигурация Tempo.grafana/provisioning/datasources/datasources.yaml— автоматическая настройка источников данных Grafana.grafana/provisioning/dashboards/dashboards.yaml— автоматическая загрузка дашбордов.grafana/dashboards/messenger-overview.json— импортируемый дашборд приложения.
Инструментация
Для API настроена OpenTelemetry-инструментация с использованием SDK и инструментов FastAPI и SQLAlchemy.
Для Worker реализована отдельная инициализация OpenTelemetry. Добавлены метрики обработки фоновых заданий, включая количество успешных и неуспешных операций и длительность обработки.
Для логов предусмотрена передача идентификаторов trace и span, позволяющих связывать записи логов с трассами.
В телеметрию не должны передаваться пароли, токены, содержимое сообщений и изображения. Метки метрик не должны содержать высококардинальные идентификаторы пользователей, чатов и сообщений.
Доказательства критериев
| Критерий | Проверка или сценарий | Результат |
|---|---|---|
| Проверка структуры проекта | python scripts/check_contract.py |
PASS: offline skeleton structure, local refs and Python syntax |
| Публичный API smoke | python tests/smoke.py --base-url "http://localhost:18082" |
PASS: lab6 public API scenario |
| Конфигурация Compose | docker compose config --quiet |
PASS |
| Инфраструктура | docker compose ps |
Сервисы API, Worker, PostgreSQL, RabbitMQ, SeaweedFS, Collector, Prometheus, Loki, Tempo и Grafana запущены |
| Импортируемый дашборд | grafana/dashboards/messenger-overview.json |
Файл дашборда присутствует в проекте |
| Нагрузочный тест | python tests/load.py --base-url "http://localhost:18082" |
60 успешных запросов, 0 ошибок |
| Отказ Worker | Остановка Worker во время поступления задания и последующий запуск | Задание обработано после восстановления Worker, статус ready |
Эксперименты и отказы
Нагрузочное тестирование
Нагрузка создавалась с помощью tests/load.py.
Результат:
| Показатель | Значение |
|---|---|
| Запрошенная длительность | 30 секунд |
| Фактическая длительность | 32,25 секунды |
| Параллельность | 4 |
| Успешные запросы | 60 |
| Неуспешные запросы | 0 |
| Доля ошибок | 0 |
| Успешный RPS | 1,86 |
| p50 | 2078 мс |
| p95 | 2125 мс |
| p99 | 2141 мс |
Нагрузка выполнялась по модели closed-loop: новые запросы отправлялись с учётом завершения предыдущих. Поэтому показатели характеризуют именно проведённый тестовый сценарий и не являются оценкой предельной пропускной способности системы.
Отказ Worker
Гипотеза: если Worker временно недоступен, API продолжит принимать задания, а сообщение останется в очереди до восстановления обработчика.
Ход эксперимента:
- Worker был остановлен командой
docker compose stop worker. - Через API было отправлено изображение.
- Задание осталось в очереди RabbitMQ.
- Worker был запущен повторно командой
docker compose start worker. - После восстановления обработчик получил задание и выполнил обработку изображения.
Результат: вложение перешло в состояние ready, ошибка обработки отсутствовала. После восстановления Worker очередь вернулась к нулевому количеству ожидающих сообщений.
Отказ хранилищ телеметрии
Выполнялась проверка недоступности компонентов хранения телеметрии: Prometheus, Loki и Tempo.
Контейнеры останавливались и затем запускались повторно. После восстановления проверено состояние сервисов через docker compose ps.