Files
mtusi2026lab6/REPORT.md

9.8 KiB

Отчёт — лабораторная 6

  • Автор, группа: Перевалова Виктория, БПИ2302
  • Целевая оценка: 3
  • Выбранный трек 5: не заявляется
  • Commit/PR: будет указан после публикации
  • Использованные источники, библиотеки и помощь ИИ: OpenTelemetry SDK, OpenTelemetry Collector, Prometheus, Loki, Tempo, Grafana, FastAPI Instrumentation, SQLAlchemy Instrumentation. При разработке и отладке использовалась помощь ChatGPT. Документация: OpenTelemetry, Prometheus, Grafana.

Запуск из чистого clone

Требования

  • Python 3.11;
  • Docker;
  • Docker Compose;
  • Git.

Подготовка

Клонировать репозиторий, перейти в каталог проекта и создать виртуальное окружение:

python -m venv .venv
.\.venv\Scripts\Activate.ps1

Установить зависимости:

python -m pip install -r requirements.txt

Создать локальный .env на основе .env.example и заполнить необходимые настройки. Секреты должны храниться локально и не добавляться в Git.

Запуск инфраструктуры

Проверить конфигурацию:

docker compose config --quiet

Собрать и запустить стенд:

docker compose up -d --build

Проверить состояние контейнеров:

docker compose ps

Проверки

Проверка структуры и синтаксиса:

python scripts/check_contract.py

Публичный smoke-тест:

python tests/smoke.py --base-url "http://localhost:18082"

Нагрузочный тест:

python tests/load.py --base-url "http://localhost:18082"

Адреса сервисов

  • API через Nginx: http://localhost:18082
  • Grafana: http://localhost:13000
  • Prometheus: http://localhost:19090

Остановка

docker compose down

Для полного удаления учебных данных вместе с постоянными томами:

docker compose down -v

Последняя команда удаляет сохранённые данные и применяется только при намеренном сбросе стенда.

Архитектура и решения

В лабораторной реализована система наблюдаемости приложения обработки сообщений и вложений.

Основные компоненты

Компонент Назначение
API Обработка HTTP-запросов
PostgreSQL Хранение данных приложения
RabbitMQ Передача фоновых заданий
SeaweedFS Хранение файлов и вложений
Worker Фоновая обработка изображений
Outbox Publisher Публикация фоновых заданий
Nginx Точка входа к API
OpenTelemetry Collector Приём и маршрутизация телеметрии
Prometheus Хранение метрик
Loki Хранение логов
Tempo Хранение распределённых трасс
Grafana Визуализация и анализ телеметрии

Архитектура наблюдаемости

API и Worker отправляют телеметрию по протоколу OTLP в OpenTelemetry Collector.

Collector передаёт данные в соответствующие хранилища:

  • метрики — Prometheus;
  • логи — Loki;
  • трассы — Tempo.

Grafana использует эти хранилища как источники данных и предоставляет единый интерфейс для анализа состояния приложения.

Конфигурационные файлы

  • observability/otel-collector-config.yaml — конфигурация OpenTelemetry Collector.
  • observability/prometheus.yml — конфигурация Prometheus.
  • observability/loki-config.yaml — конфигурация Loki.
  • observability/tempo-config.yaml — конфигурация Tempo.
  • grafana/provisioning/datasources/datasources.yaml — автоматическая настройка источников данных Grafana.
  • grafana/provisioning/dashboards/dashboards.yaml — автоматическая загрузка дашбордов.
  • grafana/dashboards/messenger-overview.json — импортируемый дашборд приложения.

Инструментация

Для API настроена OpenTelemetry-инструментация с использованием SDK и инструментов FastAPI и SQLAlchemy.

Для Worker реализована отдельная инициализация OpenTelemetry. Добавлены метрики обработки фоновых заданий, включая количество успешных и неуспешных операций и длительность обработки.

Для логов предусмотрена передача идентификаторов trace и span, позволяющих связывать записи логов с трассами.

В телеметрию не должны передаваться пароли, токены, содержимое сообщений и изображения. Метки метрик не должны содержать высококардинальные идентификаторы пользователей, чатов и сообщений.

Доказательства критериев

Критерий Проверка или сценарий Результат
Проверка структуры проекта python scripts/check_contract.py PASS: offline skeleton structure, local refs and Python syntax
Публичный API smoke python tests/smoke.py --base-url "http://localhost:18082" PASS: lab6 public API scenario
Конфигурация Compose docker compose config --quiet PASS
Инфраструктура docker compose ps Сервисы API, Worker, PostgreSQL, RabbitMQ, SeaweedFS, Collector, Prometheus, Loki, Tempo и Grafana запущены
Импортируемый дашборд grafana/dashboards/messenger-overview.json Файл дашборда присутствует в проекте
Нагрузочный тест python tests/load.py --base-url "http://localhost:18082" 60 успешных запросов, 0 ошибок
Отказ Worker Остановка Worker во время поступления задания и последующий запуск Задание обработано после восстановления Worker, статус ready

Эксперименты и отказы

Нагрузочное тестирование

Нагрузка создавалась с помощью tests/load.py.

Результат:

Показатель Значение
Запрошенная длительность 30 секунд
Фактическая длительность 32,25 секунды
Параллельность 4
Успешные запросы 60
Неуспешные запросы 0
Доля ошибок 0
Успешный RPS 1,86
p50 2078 мс
p95 2125 мс
p99 2141 мс

Нагрузка выполнялась по модели closed-loop: новые запросы отправлялись с учётом завершения предыдущих. Поэтому показатели характеризуют именно проведённый тестовый сценарий и не являются оценкой предельной пропускной способности системы.

Отказ Worker

Гипотеза: если Worker временно недоступен, API продолжит принимать задания, а сообщение останется в очереди до восстановления обработчика.

Ход эксперимента:

  1. Worker был остановлен командой docker compose stop worker.
  2. Через API было отправлено изображение.
  3. Задание осталось в очереди RabbitMQ.
  4. Worker был запущен повторно командой docker compose start worker.
  5. После восстановления обработчик получил задание и выполнил обработку изображения.

Результат: вложение перешло в состояние ready, ошибка обработки отсутствовала. После восстановления Worker очередь вернулась к нулевому количеству ожидающих сообщений.

Отказ хранилищ телеметрии

Выполнялась проверка недоступности компонентов хранения телеметрии: Prometheus, Loki и Tempo.

Контейнеры останавливались и затем запускались повторно. После восстановления проверено состояние сервисов через docker compose ps.