28 KiB
Отчёт — лабораторная 6. Наблюдаемость
- Автор, группа — Голиков Антон, БВТ2303.
- Целевая оценка — 4, уровни 3 и 4.
- Ветка —
solution/BVT2303-Golikov. Ссылка на PR появится после публикации. - Источники и библиотеки — задание, контракт наблюдаемости, OpenTelemetry Go, Gin, pgx, go-redis, MinIO SDK и amqp091-go. Для настройки использованы документация OpenTelemetry Collector, Prometheus и Grafana и реализация предыдущих лабораторных.
- Помощь ИИ — ChatGPT использовался для создания скриптов экспериментов и отчёта. Результаты в отчёте взяты из сохранённых прогонов на моем пк.
Запуск из чистого clone
Нужны Git, Docker с Compose v2, Bash, OpenSSL и Python 3.9+. Для команд make нужен GNU Make. В Docker приложение собирается на Go 1.26.1, финальный образ использует Alpine 3.20. На Windows команды ниже рассчитаны на Git Bash и запущенный Docker Desktop.
После клонирования своего fork перейти в корень репозитория и выполнить:
git checkout solution/BVT2303-Golikov
cp .env.example .env
mkdir -p secrets
umask 077
pg_pw=$(openssl rand -hex 16)
printf '%s' "$pg_pw" > secrets/postgres_password
printf 'postgres://messenger:%s@postgres:5432/messenger?sslmode=disable' "$pg_pw" \
> secrets/database_url
printf '%s' 'redis://redis:6379/0' > secrets/cache_url
printf '%s' 'messenger-minio-root' > secrets/minio_root_user
printf '%s' "$(openssl rand -hex 24)" > secrets/minio_root_password
printf '%s' 'messenger-api' > secrets/s3_access_key_id
printf '%s' "$(openssl rand -hex 24)" > secrets/s3_secret_access_key
unset pg_pw
В локальном .env задать собственное значение RABBITMQ_PASSWORD в URL-совместимом формате, например случайную hex-строку. Compose использует это значение и для RabbitMQ, и для URL подключения API/worker. Если запускать приложение напрямую с переменными из .env, синхронизировать также RABBITMQ_URL. Задать GRAFANA_ADMIN_PASSWORD. Файл .env и каталог secrets/ остаются локальными.
| Настройка | Значение по умолчанию и назначение |
|---|---|
LB_PORT, API_REPLICAS |
8080, две реплики API за nginx |
SESSION_STORE |
Compose задаёт API значение redis. |
S3_ENDPOINT, S3_BUCKET |
Compose задаёт endpoint http://minio:9000, имя bucket по умолчанию — messenger-attachments. |
OUTBOX_INTERVAL_MS, WORKER_CONCURRENCY, JOB_MAX_ATTEMPTS |
Опрос outbox раз в 1000 мс, параллельность worker 2, до 5 попыток |
RECONCILER_INTERVAL_SECONDS |
60 секунд в примере конфигурации стенда |
OTEL_EXPORTER_OTLP_ENDPOINT, OTEL_METRIC_EXPORT_INTERVAL |
http://otel-collector:4318, отправка метрик SDK каждые 15 секунд |
GRAFANA_PORT |
3000, опубликован на localhost |
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build
docker compose ps -a
curl -fsS http://localhost:8080/health/ready
make test PYTHON=python
При первом запуске дождаться HTTP 200 на /health/ready. Сервис migrate применяет миграции PostgreSQL, mc-init создаёт bucket и права сервисной учётной записи в MinIO. Для этих двух контейнеров ожидается завершение с кодом 0. Бизнес-запросы идут на http://localhost:8080. В Grafana на http://localhost:3000 открывается провижининговый дашборд «Мессенджер — наблюдаемость». Prometheus, Jaeger, OpenSearch и OTLP доступны внутри Compose. Для чистой пересборки контейнеров используется bash scripts/rebuild.sh.
docker compose stop останавливает стенд с сохранением данных. docker compose down убирает контейнеры и сеть с сохранением именованных томов. Для намеренного удаления учебных данных и истории наблюдаемости используется docker compose down -v.
Архитектура и решения
flowchart TD
Client[Клиент] --> LB[nginx]
LB --> API[Реплики API]
API --> DB[(PostgreSQL и outbox)]
API --> S3[(MinIO)]
API --> Redis[(Redis)]
DB --> Publisher[Публикатор outbox]
Publisher --> Queue[RabbitMQ]
Queue --> Worker[Worker]
Worker --> DB
Worker --> S3
Reconciler[Reconciler] --> DB
Из lab5 перенесены бизнес-API, асинхронная обработка вложений, outbox, повторные попытки и восстановление задач по lease. PostgreSQL хранит состояние вложений и заданий. MinIO хранит оригиналы и варианты картинок. RabbitMQ доставляет задания. Redis используется для сессий при конфигурации по умолчанию. Reconciler работает отдельным процессом, получает лидерство и восстанавливает задачи с истёкшим lease.
API валидирует файл и пишет исходник в staging S3. Состояние вложения и событие outbox сохраняются в одной транзакции PostgreSQL. Публикатор отправляет событие в RabbitMQ с подтверждением публикации. Worker захватывает задание с учётом версии pipeline и lease, читает и обрабатывает изображение, записывает варианты в S3 и фиксирует результат в БД. Переход в ready происходит после записи вариантов. При временной ошибке сохраняется повторная попытка, исчерпание допустимых попыток фиксируется как failed. Транзакция БД не охватывает S3, поэтому несвязанные staging-объекты обрабатываются по правилам очистки.
Путь сигналов
| Сигнал | Как поступает | Хранилище и просмотр |
|---|---|---|
| Метрики | API, worker и Reconciler отправляют OTLP в Collector. Prometheus опрашивает Collector и RabbitMQ каждые 15 секунд. | Prometheus 3.16.0, дашборд и Explore в Grafana |
| Логи | Структурированный JSON в stdout и OTLP через Collector. | OpenSearch 2.19.7, индекс messenger-logs* и Explore |
| Трассы | OpenTelemetry SDK → OTLP → Collector → Jaeger. | Jaeger 1.76.0, источник Jaeger в Grafana |
| Интерфейс | Datasources и дашборд загружаются из файлов при запуске. | Grafana 13.3.0, datasources, дашборд |
Используется Collector Contrib 0.135.0 и OTel Go SDK 1.47.0. OTLP-приёмники Collector слушают 4317 (gRPC) и 4318 (HTTP) внутри сети Compose. По умолчанию трассы корневых запросов записываются, а дочерние наследуют решение родителя. Ресурсные атрибуты включают service.name, service.version, service.instance.id и deployment.environment.name. Метки HTTP используют метод, шаблон маршрута и класс статуса. Технические идентификаторы запросов и трасс остаются в логах и трассах. В инструментации нет записи тел сообщений, изображений и заголовка Authorization.
Проверка /health/ready выполняется внутри спана health.ready. Операции pgx, обращения к Redis и S3 создают отдельные спаны. При загрузке API сохраняет W3C traceparent и, при наличии, tracestate в заголовках outbox. Публикатор восстанавливает родительский контекст и передаёт его дальше в AMQP. Worker извлекает его из сообщения, создаёт consumer-спан и спаны job.claim, job.s3.get, job.image.process, job.s3.put и job.db.complete. Логи API и worker содержат trace_id и span_id при активном спане.
Устойчивость OTel Collector
Во всех трёх конвейерах первым работает memory_limiter. Проверка выполняется раз в секунду. При превышении мягкого порога 192 МиБ Collector начинает отклонять входящие данные с ошибкой для повторной отправки. При превышении 256 МиБ инициирует сборку мусора. Порог относится к памяти кучи и измеряется периодически.
batch запускает отправку при накоплении 256 элементов или по таймауту 1 с, максимальный размер пакета — 512 элементов. У OpenSearch и Jaeger отдельные очереди в памяти на 64 запроса экспорта и по два отправителя. При длительной недоступности хранилища очередь может заполниться и часть телеметрии может потеряться. Бизнес-задания доставляются через RabbitMQ. Конфигурация находится в infra/otel-collector.yaml.
Доказательства критериев
| Критерий | Действие и наблюдение | Доказательство |
|---|---|---|
| Публичный smoke | Публичный сценарий API завершился с PASS при поднятом стеке телеметрии. |
smoke.txt |
| Метрики API | Проведён 60-секундный тест записи сообщений. В JSON есть успешные RPS, ошибки и p50/p95/p99. | load.json |
| Дашборд и источники | Provisioning описывает все три источника. Графики очереди и доступности потребителей зафиксированы на учебном стенде. | дашборд, снимок Grafana |
| Трасса API → RabbitMQ → worker | Одна трасса включает HTTP upload, attachments publish, attachments.process process и операции S3/DB до готовности. |
трасса 128a933e… |
| Корреляция логов и трасс | Для запросов теста MinIO сохранены события API и worker с идентификаторами трасс и спанов. | logs.jsonl |
| Очередь и состояние правила | Есть измерения возраста и глубины очереди и переход pending → firing → исчезновение серии. |
возраст очереди, серии алерта |
| Синтетические тесты правил | promtool на стенде вывел SUCCESS. Тесты проверяют срабатывание и выход из firing обоих правил. |
тестовые сценарии |
| Недоступность хранилища телеметрии | Во время остановки OpenSearch API принимал вложения, worker продолжал их обрабатывать. Сохранены замеры памяти и CPU Collector. | events.jsonl |
Метрики и запросы
| Сигнал | Выражение или смысл | Единица |
|---|---|---|
| RPS API | sum(rate(http_requests_total{service_name="messenger-api",http_route=~"/api/.*"}[5m])) |
запросы/с |
| Доля 5xx | Скорость роста HTTP-счётчика с http_response_status_class="5xx", делённая на скорость роста общего счётчика бизнес-маршрутов. В Grafana результат умножен на 100. |
% |
| Задержка API | histogram_quantile(0.95, sum by (le) (rate(http_request_duration_seconds_bucket{service_name="messenger-api",http_route=~"/api/.*"}[5m]))). Для p50/p99 используются 0.50 и 0.99. |
с |
| Очередь RabbitMQ | rabbitmq_detailed_queue_messages, rabbitmq_detailed_queue_messages_ready, rabbitmq_detailed_queue_messages_unacked для attachments.process. |
сообщения |
| Возраст первого задания | clamp_min(time() - (rabbitmq_detailed_queue_head_message_timestamp{queue="attachments.process"} > 0), 0). Для пустой очереди ряд может отсутствовать. |
с |
| Доступность потребителей | 100 * rabbitmq_detailed_queue_consumer_capacity{queue="attachments.process"}. Вместе с backlog и unacked используется для диагностики насыщения. |
% |
| Пул PostgreSQL | db_pool_connections{state="used"}, state="idle", state="max", db_pool_waiting и гистограмма db_pool_acquire_duration_seconds. |
соединения / ожидающие / с |
| Попытки worker | sum by (outcome) (rate(jobs_processed_total[5m])). Задержка попытки берётся из job_processing_duration_seconds_bucket. |
попытки/с, с |
| Время до готовности | histogram_quantile(0.95, sum by (le) (rate(end_to_end_ready_seconds_bucket[5m]))). От принятия вложения до перехода в ready. |
с |
| Reconciler | reconciler_stale_leases_total, reconciler_recovered_jobs_total, reconciler_leader. |
задачи, 0/1 |
Перцентили вычисляются после сложения скоростей роста buckets по le со всех реплик. В дашборде окно для rate подбирает $__rate_interval.
SLI и SLO для учебного стенда
SLI доступности API — доля ответов бизнес-маршрутов /api/.* без статуса 5xx среди всех наблюдаемых ответов за окно. Health, ответы балансировщика без спана API и запросы без зарегистрированного HTTP-ответа не входят в этот серверный SLI. Окно без трафика означает отсутствие измерения.
Учебная цель — не менее 99% ответов без 5xx за 24 часа. Это выбранный порог для стенда. Его можно проверить по счётчикам за сутки:
1 - (
sum(increase(http_requests_total{service_name="messenger-api",http_route=~"/api/.*",http_response_status_class="5xx"}[24h]))
or
0 * sum(increase(http_requests_total{service_name="messenger-api",http_route=~"/api/.*"}[24h]))
)
/
(sum(increase(http_requests_total{service_name="messenger-api",http_route=~"/api/.*"}[24h])) > 0)
Суточное достижение цели по одному 60-секундному прогону не оценивалось. Алерты ниже обнаруживают короткие деградации по своим порогам.
Эксперименты и отказы
В именах каталогов и событиях используется UTC. Зафиксированное окно нагрузки — 60,047 с, четыре клиента, непрерывные синтетические POST-запросы записи сообщений. Следующий запрос клиента запускается после ответа на предыдущий. Выполнен один зачётный замер без отдельного замера прогрева.
Результат — 19 422 успешных запроса, 4 ошибки, 323,447 успешных запроса/с. Доля ошибок по клиентскому тесту — 0,0206%. p50/p95/p99 успешных запросов — 15/31/32 мс. Перцентили включают задержку клиента и не включают неуспешные запросы. Compose задаёт по умолчанию лимиты API 0,5 CPU и 256 МиБ на реплику, PostgreSQL 1 CPU и 1 ГиБ, MinIO 0,5 CPU и 512 МиБ. Модель CPU, фактически применённые переопределения лимитов, размер БД и CPU/RAM приложения в нагрузочном прогоне не записаны.
bash student-tests/evidence_collect.sh load
bash student-tests/evidence_collect.sh worker
bash student-tests/evidence_collect.sh postgres
bash student-tests/evidence_collect.sh minio
bash student-tests/evidence_collect.sh opensearch
Сценарии запускались последовательно. Проверочные запросы выполнялись до остановки, во время отказа и после повторного запуска сервиса. Скрипт сохраняет результаты в evidence/runs/.
Инцидент A — остановка worker
Отправили 18 вложений с интервалом 15 с при остановленном worker. Пока потребителей не было, messages_ready вырос до 18, возраст первого задания достиг 263 с. Правило очереди перешло в pending, затем в firing. Последняя сохранённая точка firing — 18:00:21 UTC. К последней точке выборки ожидающих заданий было 0, активной серии правила больше не было. Из графика очереди нельзя определить итоговый статус каждого вложения.
Данные — журнал отправки, глубина очереди, потребители.
Инцидент B — остановка MinIO
Во время остановки MinIO с 18:04:04 до 18:05:23 UTC API шесть раз вернул 503 на POST загрузки. Во всех шести попытках клиент дождался своего таймаута. HTTP 503 подтверждены по серверным логам с соответствующими trace_id. В Jaeger-сводке трассы 24c3a9d8… ошибка зафиксирована в s3.PUT. До и после опыта загрузка получила 202 и дошла до ready. Это локализует отказ в S3 на приёме вложения.
Данные — события, логи, ошибочная трасса.
Дополнительная проверка — остановка PostgreSQL
PostgreSQL остановили с 18:02:27 до 18:03:12 UTC. До и после опыта GET /api/v1/chats вернул 200, во время отказа все шесть запросов вернули 503. Серверный спан и postgresql.acquire в трассе ae890f79… отмечены ошибкой. По дочернему спану причина локализуется на получении соединения с БД.
Данные — события, логи, ошибочная трасса.
Дополнительная проверка — остановка OpenSearch
OpenSearch был выключен примерно 85 с. За это время API принял 12 вложений с HTTP 202. Для 11 скрипт подтвердил ready. Для оставшегося вложения один запрос проверки статуса получил 503, поэтому его итог в этом прогоне не подтверждён. После запуска OpenSearch повторная загрузка и проверка готовности прошли. В 12 замерах Collector использовал 68,46–82,02 МиБ памяти и 0,09–2,03% CPU по docker stats. Точное число потерянных логов в опыте не измерялось.
Данные — события и замеры Collector, логи stdout API и worker.
Алерты Prometheus
Правила оцениваются каждые 15 с. В Grafana Explore с источником Prometheus состояние видно запросом ALERTS{alertstate=~"pending|firing"}.
| Алерт | Условие | Удержание |
|---|---|---|
MessengerHighAPIErrorRate |
Доля 5xx на бизнес-маршрутах API выше 5%, при общем трафике не ниже 0,2 запроса/с за 5 минут. | 2 минуты |
MessengerGrowingAttachmentQueue |
В attachments.process как минимум 5 ожидающих сообщений и положительный наклон глубины за 5 минут. |
2 минуты |
Высокая доля ошибок API
Установить интервал вокруг появления 5xx и посмотреть RPS и процент ошибок. Найти запись о завершении запроса с 5xx в OpenSearch, взять trace_id и открыть ту же трассу в Jaeger. Если ошибка на postgresql.acquire, проверить PostgreSQL и ожидание пула. Если ошибка на s3.PUT, проверить MinIO. После восстановления повторить бизнес-запрос и проверить уменьшение доли ошибок. Для этого правила подтверждён синтетический переход в firing и выход из него. Реальные 503 подтверждены опытами с PostgreSQL и MinIO, живой firing правила 5xx в этих опытах не зафиксирован.
Растущая очередь вложений
Сравнить ожидающие сообщения, сообщения без подтверждения, возраст старейшего задания и доступность потребителей. При остановленном worker запустить docker compose start worker. При работающем worker проверить jobs_processed_total по outcome и открыть consumer-трассу задания. Сверить спаны чтения S3, обработки изображения, записи вариантов и завершения в PostgreSQL. После восстановления очередь должна уменьшаться, а активная серия алерта исчезнуть.
Проверка на искусственном сбое
В Git Bash из корня репозитория:
MSYS2_ARG_CONV_EXCL='*' docker run --rm \
--mount "type=bind,source=$(pwd -W),target=/work,readonly" \
-w /work --entrypoint /bin/promtool prom/prometheus:v3.16.0 \
test rules infra/prometheus/tests/messenger.test.yml
Я получил SUCCESS. Для живой проверки использован bash student-tests/hand_alert.sh через скрипт сбора доказательств. На снимке первого прогона видно состояние pending. В повторном прогоне сохранённые данные Prometheus показывают восемь точек pending, шесть точек firing и исчезновение активной серии после запуска worker.
Ограничения и следующие шаги
- Результаты нагрузки описывают один локальный прогон, четыре параллельных клиента и синтетические сообщения. Из них нельзя вывести максимальную производительность сервиса.
- Доступность потребителей RabbitMQ используется как индикатор насыщения вместе с глубиной очереди и исходами worker. Точная занятость слотов worker и постоянные ряды CPU/RAM всех контейнеров в дашборде отсутствуют. Для отказа OpenSearch CPU/RAM Collector измерены отдельно.
- Гистограмма времени до готовности получает наблюдение при переходе в
ready. Задания, ещё ожидающие обработки или окончательно завершившиеся ошибкой, учитываются через очередь и исходы попыток. - Сохранённая успешная трасса демонстрирует один проход от upload до результата. Отдельная трасса полного цикла job retry в приложенных материалах отсутствует.
- Память Collector измерялась во время короткого отказа OpenSearch. Размер потерь логов и поведение при длительном заполнении очереди отправки отдельно не измерялись.