17 KiB
ЛР6. Наблюдаемость мессенджера
Горбанюк, БВТ2301. Целевая оценка 5. Трек 1 «Цена наблюдаемости».
Использованы материалы задания, документация OpenTelemetry, Loki OTLP и Prometheus. За основу взято собственное решение ЛР5. При подготовке реализации, проверок и отчёта использовалась помощь ИИ.
Запуск из чистого clone
Нужны Docker с Compose и Python 3.14 для локальных проверок. Runtime приложения — Python 3.14.7, зависимости в uv.lock, OpenTelemetry Python 1.45.2. Стенд включает Collector Contrib 0.147.0, Prometheus 3.9.1, Loki 3.6.3, Tempo 2.10.0 и Grafana 12.3.3. Образы и лимиты указаны в compose.yaml. Docker сам запускает миграции и создаёт приватный bucket.
make bootstrap
make up
curl -fsS http://127.0.0.1:8086/health/ready
make test
uv sync --locked
make check
make validate PYTHON=.venv/bin/python
make lint
Grafana доступна на http://127.0.0.1:3006; пользователь admin, пароль в локальном secrets/grafana_password. Панель MTUSI Messenger и три источника появляются при старте. Прямые порты Prometheus 9096, Loki 3106 и Tempo 3206 привязаны к loopback для локальных проверок. make down останавливает стенд с сохранением данных. docker compose down -v удаляет учебные данные этого проекта.
Для набора собственных тестов и диагностики с инъекцией одноразового сбоя:
docker compose -f compose.yaml -f compose.test.yaml up -d --build --wait
make unit
make test-persistence ACTION_SCRIPT=scripts/restart.sh
make test-failover ACTION_SCRIPT=scripts/stop-one.sh
uv run python scripts/verify_pipeline.py --output evidence/pipeline-repeat.json
uv run python scripts/observe.py --incidents --retry --output evidence/observe-repeat.json
uv run python scripts/telemetry_cost.py --output evidence/cost-repeat.json
Архитектура
Две реплики FastAPI за HAProxy используют общие PostgreSQL, Valkey и S3. Из ЛР5 сохранены загрузка со статусом 202 после приёма файла и фиксации job/outbox, relay, отдельный durable Valkey Streams и обработка в дочернем процессе worker. PostgreSQL хранит статус и версии, S3 — байты. Повторная доставка ограничена состоянием задачи и транзакционной проверкой fence.
API, relay и worker отправляют OTLP/HTTP в Collector. Prometheus опрашивает экспортёр метрик и сам Collector. Loki хранит структурные логи, Tempo хранит трассы. Grafana загружает источники и панель из Git. У хранилищ отдельные volumes, задано удержание примерно 72 часа; для Prometheus также действует предел размера 256 MB.
traceparent и tracestate добавляются к job той же транзакцией, которая фиксирует её приём. Relay создаёт producer span под контекстом из БД и вкладывает свой контекст в envelope; worker создаёт consumer span. Повторная публикация использует исходный сохранённый контекст. Для обработки видны дочерние операции PostgreSQL и S3. Супервизор агрегирует исходы и задержки процессов, включая таймауты, в стабильную серию worker.
В метриках HTTP используется шаблон маршрута и класс статуса; health исключён. В логах остаются созданные сервисом request ID, trace ID, span ID и в событиях обработки job ID для поиска. Инструментация не читает заголовки авторизации, содержимое запросов, SQL, имена файлов или ключи объектов. Исключения в span записывают только тип. service.instance.id отличает процессы, service.version берётся из установленного приложения, окружение lab. Нестандартные имена описаны ниже.
| Сигнал | Prometheus | Единицы и агрегация |
|---|---|---|
| Запросы и ошибки | messenger_http_requests_total |
rate по всем API; ошибки — 5xx / бизнес-запросы |
| Длительность HTTP | messenger_http_duration_seconds_bucket |
p50/p95/p99 через histogram_quantile после суммы rate buckets по le |
| Задачи и время обработки | messenger_jobs_processed_total, messenger_jobs_duration_seconds_bucket |
исходы и гистограмма в секундах |
| Backlog и возраст | messenger_queue_depth, messenger_queue_oldest_seconds |
число и возраст незавершённых job; снимок PostgreSQL каждые 2 с |
| Пул БД и worker | messenger_db_pool_used, messenger_db_pool_waiting, messenger_worker_busy, messenger_worker_capacity |
используемые и ожидающие соединения при обращении к пулу, занятые слоты worker |
| Время до ready | messenger_ready_duration_seconds_bucket |
от времени создания записи в транзакции приёма до фиксации результата; секунды |
| CPU и память | messenger_process_cpu_seconds_total, messenger_process_rss_bytes |
CPU процесса с завершёнными дочерними процессами, RSS процесса; для полного дерева дополнительно Docker stats |
Диагностика
Учебные цели для окна 5 минут: 99% бизнес-запросов без 5xx, 95% принятых и завершённых изображений готовы за 30 секунд. Для второго SLI доля берётся из buckets, а незавершённые и окончательно failed контролируются отдельно через backlog и исходы задач. Пороги демонстрационных алертов рассчитаны на короткий стенд. HTTP alert требует >5% 5xx в окне 20 секунд с выдержкой 6 секунд. Queue alert требует незавершённые job и возраст >5 секунд с выдержкой 6 секунд. Дополнительный DB alert использует рост ошибок пула в окне 20 секунд.
- При
MessengerQueueLagпроверить число и возраст незавершённых job, слоты worker, затем потребление и логи worker. Из лога загрузки перейти к trace ID и искатьjobs.publishиjobs.consume. Рост очереди при исчезнувших consume и стабильном HTTP указывает на остановку обработки. - При HTTP 5xx проверить
MessengerDatabaseErrors, взять request ID из ответа и найти лог в Loki. В Tempo сравнить длительность HTTP span иdb.read. Узкий участок виден внутри БД; для сравнения обычный запрос укладывался в миллисекунды. - Если данные исчезли из Tempo, сверить accepted/sent/failed у Collector и проверить readiness API. Отдельная отправка из SDK и очередь Collector ограничивают влияние на мессенджер. В SDK до 512 span и 512 log records на процесс; у Collector memory limiter 128 MiB, cgroup 256 MiB и 16 batches на экспортёр, таймаут попытки 2 секунды, окно повторов 5 секунд. RSS процесса отличается от управляемой памяти Go.
| Воздействие | Наблюдение |
|---|---|
| Остановка worker и 3 загрузки | Алерт firing при глубине 3 и возрасте 16.9 с. После запуска 3/3 ready, очередь 0 и alert resolved. |
| Ограниченная блокировка таблицы sessions | 12 запросов 503, максимум около 1.01 с. Длительность локализуется в db.read; оба алерта firing, затем resolved. |
| Остановка Tempo | 15 записей сообщений успешны, 21 span учтён счётчиком ошибок экспорта. Снимок RSS Collector около 197 MiB. API сохранил готовность. |
Доказательства запросов к реальным хранилищам и статусов алертов сохранены в observability.json. Трасса повтора показывает две попытки worker под одним trace ID после одноразового сбоя. В наследуемой матрице pipeline прошли 10 сценариев ЛР5, 11 подтверждённых загрузок сохранены, устаревших перезаписей нет. При отказе метрики и логи остаются доступны; старые трассы, отброшенные после исчерпания повторов, не воспроизводятся автоматически.
Трек 1. Цена наблюдаемости
Гипотеза: пакетный экспорт сохраняет сопоставимую задержку под выбранной нагрузкой; уменьшение head sampling экономит объём трасс и оставляет метрики и логи. На одном Docker Desktop ARM64, VM 18 vCPU и 7.75 GiB, сравнивались четыре режима. API — 2 × 1 CPU/512 MiB, worker — 2 CPU/1536 MiB, Collector — 0.5 CPU/256 MiB. Один и тот же образ и лимиты. В каждом запуске отдельный чат из 25 сообщений, затем 3 с прогрева и 10 с измерения с фиксированной подачей 18 запросов/с. Запросы: страницы истории до 20 сообщений, около 20% новых сообщений, одна загрузка маленького PNG каждые 45 операций. Два повтора с обратным порядком режимов. Отброшены только результаты прогрева; его записи остаются. Сохраняются четыре снимка CPU/RSS на режим.
Медианы повторов, 180 из 180 успешных операций в каждом из восьми запусков:
| Режим | p50, мс | p95, мс | p99, мс | Принято span | Байт трасс в Tempo | CPU приложения, % одного ядра | Память приложения, MiB |
|---|---|---|---|---|---|---|---|
| off | 5.15 | 8.28 | 22.17 | 0 | 0 | 41.74 | 308.82 |
| 100% | 5.31 | 8.46 | 17.11 | 997 | 142 250 | 79.81 | 402.25 |
| 50% | 5.41 | 10.08 | 21.53 | 522 | 80 782 | 76.21 | 391.50 |
| 25% | 5.03 | 9.49 | 27.17 | 238 | 41 374 | 76.44 | 365.21 |
CPU/RAM приложения — сумма API, relay и worker в снимке Docker stats. В телеметрии эксперимента также есть снимки четырёх компонентов наблюдаемости и фактическое время каждого прогона. Измерено число записей логов и точек метрик, объём байтов — protobuf трасс после ограничений на входе Tempo. Во включённых режимах за прогон принято около 188 логов; меняется sampling трасс, логи и метрики сохраняются. Разность accepted/sent в несколько span объяснима границами scrape и остатком batch. Счётчик ошибок экспорта в этих восьми прогонах не рос; эксперимент с остановкой Tempo отдельно показывает реальный сбой доставки. Измерение не видит потерю записи до приёма Collector и не устанавливает отсутствие потерь во всех условиях.
Режим 50% уменьшил объём трасс примерно на 43% относительно 100% при сохранении метрик и логов. По CPU основной рост связан с включением всей телеметрии, переключение sampling само по себе не убирает стоимость метрик и логов. По двум коротким повторам нельзя установить выигрыш в задержке: p95 и особенно p99 колеблются. Head sampling выбирает trace до ответа, поэтому пропуск редкого медленного или ошибочного запроса так же вероятен, как пропуск обычного. При 50% вероятность пропуска одного уникального инцидента примерно 1/2, при 25% — 3/4. Для разборов можно временно использовать 100%, для наблюдения при данной нагрузке проверен 50%. Исходный режим защиты — 100%, чтобы учебная трасса воспроизводилась детерминированно.
Проверки и границы
- Публичный smoke, OpenAPI и 84 собственных сценария, включая ACL, сохранение и восстановление pipeline. Чистый clone поднят отдельным Compose project с новыми volumes и локальными credentials.
- Метрики и provisioning подтверждены запросами к данным,
scripts/observe.pyпроверяет связь Loki/Tempo и восстанавливает затронутые сервисы. - Compose развёрнут на одном хосте; потеря VM или volume не покрывается. Отказ backend телеметрии допускает потерю сигналов. Публичная сеть, внутренние TLS и управление сервисными секретами рассматриваются в ЛР7.
Вопросы к защите
- Чем отличаются метрика, лог и трасса? Метрика даёт агрегированный симптом, лог — конкретное событие, трасса — путь и время операции между процессами.
- Как считается p95 нескольких реплик? Сначала суммируются скорости bucket counters по границе, потом находится квантиль общей гистограммы.
- Как связаны HTTP и worker? Контекст хранится в job, relay передаёт его в envelope, worker продолжает trace. Request ID называет HTTP-попытку, trace ID объединяет операции.
- Что при отказе хранилища наблюдаемости? SDK и Collector буферизуют в пределах лимитов. По таймауту экспорт допускает потери, сообщения и задания продолжают жить в прикладных хранилищах.