Files
mtusi2026lab6/REPORT.md
T

28 KiB
Raw Blame History

Отчёт — лабораторная 6. Наблюдаемость

  • Автор, группа — Голиков Антон, БВТ2303.
  • Целевая оценка — 4, уровни 3 и 4.
  • Ветка — solution/BVT2303-Golikov. Ссылка на PR появится после публикации.
  • Источники и библиотеки — задание, контракт наблюдаемости, OpenTelemetry Go, Gin, pgx, go-redis, MinIO SDK и amqp091-go. Для настройки использованы документация OpenTelemetry Collector, Prometheus и Grafana и реализация предыдущих лабораторных.
  • Помощь ИИ — ChatGPT использовался для создания скриптов экспериментов и отчёта. Результаты в отчёте взяты из сохранённых прогонов на моем пк.

Запуск из чистого clone

Нужны Git, Docker с Compose v2, Bash, OpenSSL и Python 3.9+. Для команд make нужен GNU Make. В Docker приложение собирается на Go 1.26.1, финальный образ использует Alpine 3.20. На Windows команды ниже рассчитаны на Git Bash и запущенный Docker Desktop.

После клонирования своего fork перейти в корень репозитория и выполнить:

git checkout solution/BVT2303-Golikov
cp .env.example .env
mkdir -p secrets
umask 077

pg_pw=$(openssl rand -hex 16)
printf '%s' "$pg_pw" > secrets/postgres_password
printf 'postgres://messenger:%s@postgres:5432/messenger?sslmode=disable' "$pg_pw" \
  > secrets/database_url
printf '%s' 'redis://redis:6379/0' > secrets/cache_url

printf '%s' 'messenger-minio-root' > secrets/minio_root_user
printf '%s' "$(openssl rand -hex 24)" > secrets/minio_root_password
printf '%s' 'messenger-api' > secrets/s3_access_key_id
printf '%s' "$(openssl rand -hex 24)" > secrets/s3_secret_access_key
unset pg_pw

В локальном .env задать собственное значение RABBITMQ_PASSWORD в URL-совместимом формате, например случайную hex-строку. Compose использует это значение и для RabbitMQ, и для URL подключения API/worker. Если запускать приложение напрямую с переменными из .env, синхронизировать также RABBITMQ_URL. Задать GRAFANA_ADMIN_PASSWORD. Файл .env и каталог secrets/ остаются локальными.

Настройка Значение по умолчанию и назначение
LB_PORT, API_REPLICAS 8080, две реплики API за nginx
SESSION_STORE Compose задаёт API значение redis.
S3_ENDPOINT, S3_BUCKET Compose задаёт endpoint http://minio:9000, имя bucket по умолчанию — messenger-attachments.
OUTBOX_INTERVAL_MS, WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS Опрос outbox раз в 1000 мс, параллельность worker 2, до 5 попыток
RECONCILER_INTERVAL_SECONDS 60 секунд в примере конфигурации стенда
OTEL_EXPORTER_OTLP_ENDPOINT, OTEL_METRIC_EXPORT_INTERVAL http://otel-collector:4318, отправка метрик SDK каждые 15 секунд
GRAFANA_PORT 3000, опубликован на localhost
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose ps -a
curl -fsS http://localhost:8080/health/ready
make test PYTHON=python

При первом запуске дождаться HTTP 200 на /health/ready. Сервис migrate применяет миграции PostgreSQL, mc-init создаёт bucket и права сервисной учётной записи в MinIO. Для этих двух контейнеров ожидается завершение с кодом 0. Бизнес-запросы идут на http://localhost:8080. В Grafana на http://localhost:3000 открывается провижининговый дашборд «Мессенджер — наблюдаемость». Prometheus, Jaeger, OpenSearch и OTLP доступны внутри Compose. Для чистой пересборки контейнеров используется bash scripts/rebuild.sh.

docker compose stop останавливает стенд с сохранением данных. docker compose down убирает контейнеры и сеть с сохранением именованных томов. Для намеренного удаления учебных данных и истории наблюдаемости используется docker compose down -v.

Архитектура и решения

flowchart TD
    Client[Клиент] --> LB[nginx]
    LB --> API[Реплики API]
    API --> DB[(PostgreSQL и outbox)]
    API --> S3[(MinIO)]
    API --> Redis[(Redis)]
    DB --> Publisher[Публикатор outbox]
    Publisher --> Queue[RabbitMQ]
    Queue --> Worker[Worker]
    Worker --> DB
    Worker --> S3
    Reconciler[Reconciler] --> DB

Из lab5 перенесены бизнес-API, асинхронная обработка вложений, outbox, повторные попытки и восстановление задач по lease. PostgreSQL хранит состояние вложений и заданий. MinIO хранит оригиналы и варианты картинок. RabbitMQ доставляет задания. Redis используется для сессий при конфигурации по умолчанию. Reconciler работает отдельным процессом, получает лидерство и восстанавливает задачи с истёкшим lease.

API валидирует файл и пишет исходник в staging S3. Состояние вложения и событие outbox сохраняются в одной транзакции PostgreSQL. Публикатор отправляет событие в RabbitMQ с подтверждением публикации. Worker захватывает задание с учётом версии pipeline и lease, читает и обрабатывает изображение, записывает варианты в S3 и фиксирует результат в БД. Переход в ready происходит после записи вариантов. При временной ошибке сохраняется повторная попытка, исчерпание допустимых попыток фиксируется как failed. Транзакция БД не охватывает S3, поэтому несвязанные staging-объекты обрабатываются по правилам очистки.

Путь сигналов

Сигнал Как поступает Хранилище и просмотр
Метрики API, worker и Reconciler отправляют OTLP в Collector. Prometheus опрашивает Collector и RabbitMQ каждые 15 секунд. Prometheus 3.16.0, дашборд и Explore в Grafana
Логи Структурированный JSON в stdout и OTLP через Collector. OpenSearch 2.19.7, индекс messenger-logs* и Explore
Трассы OpenTelemetry SDK → OTLP → Collector → Jaeger. Jaeger 1.76.0, источник Jaeger в Grafana
Интерфейс Datasources и дашборд загружаются из файлов при запуске. Grafana 13.3.0, datasources, дашборд

Используется Collector Contrib 0.135.0 и OTel Go SDK 1.47.0. OTLP-приёмники Collector слушают 4317 (gRPC) и 4318 (HTTP) внутри сети Compose. По умолчанию трассы корневых запросов записываются, а дочерние наследуют решение родителя. Ресурсные атрибуты включают service.name, service.version, service.instance.id и deployment.environment.name. Метки HTTP используют метод, шаблон маршрута и класс статуса. Технические идентификаторы запросов и трасс остаются в логах и трассах. В инструментации нет записи тел сообщений, изображений и заголовка Authorization.

Проверка /health/ready выполняется внутри спана health.ready. Операции pgx, обращения к Redis и S3 создают отдельные спаны. При загрузке API сохраняет W3C traceparent и, при наличии, tracestate в заголовках outbox. Публикатор восстанавливает родительский контекст и передаёт его дальше в AMQP. Worker извлекает его из сообщения, создаёт consumer-спан и спаны job.claim, job.s3.get, job.image.process, job.s3.put и job.db.complete. Логи API и worker содержат trace_id и span_id при активном спане.

Устойчивость OTel Collector

Во всех трёх конвейерах первым работает memory_limiter. Проверка выполняется раз в секунду. При превышении мягкого порога 192 МиБ Collector начинает отклонять входящие данные с ошибкой для повторной отправки. При превышении 256 МиБ инициирует сборку мусора. Порог относится к памяти кучи и измеряется периодически.

batch запускает отправку при накоплении 256 элементов или по таймауту 1 с, максимальный размер пакета — 512 элементов. У OpenSearch и Jaeger отдельные очереди в памяти на 64 запроса экспорта и по два отправителя. При длительной недоступности хранилища очередь может заполниться и часть телеметрии может потеряться. Бизнес-задания доставляются через RabbitMQ. Конфигурация находится в infra/otel-collector.yaml.

Доказательства критериев

Критерий Действие и наблюдение Доказательство
Публичный smoke Публичный сценарий API завершился с PASS при поднятом стеке телеметрии. smoke.txt
Метрики API Проведён 60-секундный тест записи сообщений. В JSON есть успешные RPS, ошибки и p50/p95/p99. load.json
Дашборд и источники Provisioning описывает все три источника. Графики очереди и доступности потребителей зафиксированы на учебном стенде. дашборд, снимок Grafana
Трасса API → RabbitMQ → worker Одна трасса включает HTTP upload, attachments publish, attachments.process process и операции S3/DB до готовности. трасса 128a933e…
Корреляция логов и трасс Для запросов теста MinIO сохранены события API и worker с идентификаторами трасс и спанов. logs.jsonl
Очередь и состояние правила Есть измерения возраста и глубины очереди и переход pending → firing → исчезновение серии. возраст очереди, серии алерта
Синтетические тесты правил promtool на стенде вывел SUCCESS. Тесты проверяют срабатывание и выход из firing обоих правил. тестовые сценарии
Недоступность хранилища телеметрии Во время остановки OpenSearch API принимал вложения, worker продолжал их обрабатывать. Сохранены замеры памяти и CPU Collector. events.jsonl

Метрики и запросы

Сигнал Выражение или смысл Единица
RPS API sum(rate(http_requests_total{service_name="messenger-api",http_route=~"/api/.*"}[5m])) запросы/с
Доля 5xx Скорость роста HTTP-счётчика с http_response_status_class="5xx", делённая на скорость роста общего счётчика бизнес-маршрутов. В Grafana результат умножен на 100. %
Задержка API histogram_quantile(0.95, sum by (le) (rate(http_request_duration_seconds_bucket{service_name="messenger-api",http_route=~"/api/.*"}[5m]))). Для p50/p99 используются 0.50 и 0.99. с
Очередь RabbitMQ rabbitmq_detailed_queue_messages, rabbitmq_detailed_queue_messages_ready, rabbitmq_detailed_queue_messages_unacked для attachments.process. сообщения
Возраст первого задания clamp_min(time() - (rabbitmq_detailed_queue_head_message_timestamp{queue="attachments.process"} > 0), 0). Для пустой очереди ряд может отсутствовать. с
Доступность потребителей 100 * rabbitmq_detailed_queue_consumer_capacity{queue="attachments.process"}. Вместе с backlog и unacked используется для диагностики насыщения. %
Пул PostgreSQL db_pool_connections{state="used"}, state="idle", state="max", db_pool_waiting и гистограмма db_pool_acquire_duration_seconds. соединения / ожидающие / с
Попытки worker sum by (outcome) (rate(jobs_processed_total[5m])). Задержка попытки берётся из job_processing_duration_seconds_bucket. попытки/с, с
Время до готовности histogram_quantile(0.95, sum by (le) (rate(end_to_end_ready_seconds_bucket[5m]))). От принятия вложения до перехода в ready. с
Reconciler reconciler_stale_leases_total, reconciler_recovered_jobs_total, reconciler_leader. задачи, 0/1

Перцентили вычисляются после сложения скоростей роста buckets по le со всех реплик. В дашборде окно для rate подбирает $__rate_interval.

SLI и SLO для учебного стенда

SLI доступности API — доля ответов бизнес-маршрутов /api/.* без статуса 5xx среди всех наблюдаемых ответов за окно. Health, ответы балансировщика без спана API и запросы без зарегистрированного HTTP-ответа не входят в этот серверный SLI. Окно без трафика означает отсутствие измерения.

Учебная цель — не менее 99% ответов без 5xx за 24 часа. Это выбранный порог для стенда. Его можно проверить по счётчикам за сутки:

1 - (
  sum(increase(http_requests_total{service_name="messenger-api",http_route=~"/api/.*",http_response_status_class="5xx"}[24h]))
  or
  0 * sum(increase(http_requests_total{service_name="messenger-api",http_route=~"/api/.*"}[24h]))
)
/
(sum(increase(http_requests_total{service_name="messenger-api",http_route=~"/api/.*"}[24h])) > 0)

Суточное достижение цели по одному 60-секундному прогону не оценивалось. Алерты ниже обнаруживают короткие деградации по своим порогам.

Эксперименты и отказы

В именах каталогов и событиях используется UTC. Зафиксированное окно нагрузки — 60,047 с, четыре клиента, непрерывные синтетические POST-запросы записи сообщений. Следующий запрос клиента запускается после ответа на предыдущий. Выполнен один зачётный замер без отдельного замера прогрева.

Результат — 19 422 успешных запроса, 4 ошибки, 323,447 успешных запроса/с. Доля ошибок по клиентскому тесту — 0,0206%. p50/p95/p99 успешных запросов — 15/31/32 мс. Перцентили включают задержку клиента и не включают неуспешные запросы. Compose задаёт по умолчанию лимиты API 0,5 CPU и 256 МиБ на реплику, PostgreSQL 1 CPU и 1 ГиБ, MinIO 0,5 CPU и 512 МиБ. Модель CPU, фактически применённые переопределения лимитов, размер БД и CPU/RAM приложения в нагрузочном прогоне не записаны.

bash student-tests/evidence_collect.sh load
bash student-tests/evidence_collect.sh worker
bash student-tests/evidence_collect.sh postgres
bash student-tests/evidence_collect.sh minio
bash student-tests/evidence_collect.sh opensearch

Сценарии запускались последовательно. Проверочные запросы выполнялись до остановки, во время отказа и после повторного запуска сервиса. Скрипт сохраняет результаты в evidence/runs/.

Инцидент A — остановка worker

Отправили 18 вложений с интервалом 15 с при остановленном worker. Пока потребителей не было, messages_ready вырос до 18, возраст первого задания достиг 263 с. Правило очереди перешло в pending, затем в firing. Последняя сохранённая точка firing — 18:00:21 UTC. К последней точке выборки ожидающих заданий было 0, активной серии правила больше не было. Из графика очереди нельзя определить итоговый статус каждого вложения.

Данные — журнал отправки, глубина очереди, потребители.

Инцидент B — остановка MinIO

Во время остановки MinIO с 18:04:04 до 18:05:23 UTC API шесть раз вернул 503 на POST загрузки. Во всех шести попытках клиент дождался своего таймаута. HTTP 503 подтверждены по серверным логам с соответствующими trace_id. В Jaeger-сводке трассы 24c3a9d8… ошибка зафиксирована в s3.PUT. До и после опыта загрузка получила 202 и дошла до ready. Это локализует отказ в S3 на приёме вложения.

Данные — события, логи, ошибочная трасса.

Дополнительная проверка — остановка PostgreSQL

PostgreSQL остановили с 18:02:27 до 18:03:12 UTC. До и после опыта GET /api/v1/chats вернул 200, во время отказа все шесть запросов вернули 503. Серверный спан и postgresql.acquire в трассе ae890f79… отмечены ошибкой. По дочернему спану причина локализуется на получении соединения с БД.

Данные — события, логи, ошибочная трасса.

Дополнительная проверка — остановка OpenSearch

OpenSearch был выключен примерно 85 с. За это время API принял 12 вложений с HTTP 202. Для 11 скрипт подтвердил ready. Для оставшегося вложения один запрос проверки статуса получил 503, поэтому его итог в этом прогоне не подтверждён. После запуска OpenSearch повторная загрузка и проверка готовности прошли. В 12 замерах Collector использовал 68,46–82,02 МиБ памяти и 0,09–2,03% CPU по docker stats. Точное число потерянных логов в опыте не измерялось.

Данные — события и замеры Collector, логи stdout API и worker.

Алерты Prometheus

Правила оцениваются каждые 15 с. В Grafana Explore с источником Prometheus состояние видно запросом ALERTS{alertstate=~"pending|firing"}.

Алерт Условие Удержание
MessengerHighAPIErrorRate Доля 5xx на бизнес-маршрутах API выше 5%, при общем трафике не ниже 0,2 запроса/с за 5 минут. 2 минуты
MessengerGrowingAttachmentQueue В attachments.process как минимум 5 ожидающих сообщений и положительный наклон глубины за 5 минут. 2 минуты

Высокая доля ошибок API

Установить интервал вокруг появления 5xx и посмотреть RPS и процент ошибок. Найти запись о завершении запроса с 5xx в OpenSearch, взять trace_id и открыть ту же трассу в Jaeger. Если ошибка на postgresql.acquire, проверить PostgreSQL и ожидание пула. Если ошибка на s3.PUT, проверить MinIO. После восстановления повторить бизнес-запрос и проверить уменьшение доли ошибок. Для этого правила подтверждён синтетический переход в firing и выход из него. Реальные 503 подтверждены опытами с PostgreSQL и MinIO, живой firing правила 5xx в этих опытах не зафиксирован.

Растущая очередь вложений

Сравнить ожидающие сообщения, сообщения без подтверждения, возраст старейшего задания и доступность потребителей. При остановленном worker запустить docker compose start worker. При работающем worker проверить jobs_processed_total по outcome и открыть consumer-трассу задания. Сверить спаны чтения S3, обработки изображения, записи вариантов и завершения в PostgreSQL. После восстановления очередь должна уменьшаться, а активная серия алерта исчезнуть.

Проверка на искусственном сбое

В Git Bash из корня репозитория:

MSYS2_ARG_CONV_EXCL='*' docker run --rm \
  --mount "type=bind,source=$(pwd -W),target=/work,readonly" \
  -w /work --entrypoint /bin/promtool prom/prometheus:v3.16.0 \
  test rules infra/prometheus/tests/messenger.test.yml

Я получил SUCCESS. Для живой проверки использован bash student-tests/hand_alert.sh через скрипт сбора доказательств. На снимке первого прогона видно состояние pending. В повторном прогоне сохранённые данные Prometheus показывают восемь точек pending, шесть точек firing и исчезновение активной серии после запуска worker.

Ограничения и следующие шаги

  • Результаты нагрузки описывают один локальный прогон, четыре параллельных клиента и синтетические сообщения. Из них нельзя вывести максимальную производительность сервиса.
  • Доступность потребителей RabbitMQ используется как индикатор насыщения вместе с глубиной очереди и исходами worker. Точная занятость слотов worker и постоянные ряды CPU/RAM всех контейнеров в дашборде отсутствуют. Для отказа OpenSearch CPU/RAM Collector измерены отдельно.
  • Гистограмма времени до готовности получает наблюдение при переходе в ready. Задания, ещё ожидающие обработки или окончательно завершившиеся ошибкой, учитываются через очередь и исходы попыток.
  • Сохранённая успешная трасса демонстрирует один проход от upload до результата. Отдельная трасса полного цикла job retry в приложенных материалах отсутствует.
  • Память Collector измерялась во время короткого отказа OpenSearch. Размер потерь логов и поведение при длительном заполнении очереди отправки отдельно не измерялись.