Files
2026-11-18 21:37:25 +03:00

14 KiB
Raw Permalink Blame History

Цена наблюдаемости: методика трека 1

Гипотеза

Снижение head sampling уменьшит объём traces и нагрузку telemetry backend. Метрики и логи останутся полными. Цена — потеря части трасс ошибок и медленных запросов. Сравниваются SDK off, sampling 100%,10%,50%. Кандидат сбалансированной настройки —50%. Приоритет учебного стенда: сохранить достаточно трасс для диагностики при меньшем ingest.

Повторение

make up
make test
python3 scripts/observability_experiment.py --requests 120 --rate 8 --concurrency 4 --repetitions 2
python3 scripts/summarize_observability.py

Запускайте последовательно с fault suite. Сценарий пересоздаёт API и worker, выставляет OTEL_SDK_DISABLED/OTEL_TRACES_SAMPLER_ARG, затем восстанавливает SDK on/sampling 100% в finally. Collector и backend не пересоздаются между вариантами; их counters сохраняются. Первый повтор: off→100%→10%→50%; второй — в обратном порядке.

На каждый вариант создаётся один синтетический пользователь, один чат и одинаковый набор данных. Из 120 измеряемых запросов 90 читают пользователя,18 создают сообщения,6 загружают PNG,6 ожидают 401. Размер fixture и текст сообщений одинаковы. Каждая из 6 загрузок должна стать ready. 401 — ожидаемая клиентская ошибка; её не следует путать с 5xx и нарушением SLO API. Ошибки сверх ожидаемых статусов считаются отдельно; повтор запроса автоматически не выполняется.

После пересоздания выдерживаются 8 секунд, затем 20 GET для прогрева и ещё6 секунд. Планировщик задаёт 8 запросов/с и максимум 4 одновременно исполняемых вызова. При перегрузке клиент может отстать от расписания: это ограниченный генератор, не доказательство capacity. Latency измеряется от начала фактического вызова; задержка планировщика в percentile не входит. p50/p95/p99 включают все 120 вызовов, в том числе ожидаемые 401.

Во время нагрузки docker stats фиксирует CPU/RAM контейнеров примерно каждые 3 секунды. CPU — сумма средних по контейнерам;100% соответствует одному полностью занятому CPU. RAM — сумма наблюдавшихся максимумов, которые могли приходиться на разные моменты времени. Отдельно считаются API+worker и Collector/Prometheus/Loki/Tempo/Grafana. Измеряется не вся стоимость business stack: PostgreSQL/Redis/S3 не включены в группу application.

Через 12 секунд после нагрузки снимаются счётчики Collector и backend. Ingest traces/logs — прирост *_bytes_received_total, metrics — прирост TSDB appended samples. Это входные bytes/samples, не размер compressed storage и не сетевой трафик всего стенда. В прирост входят фоновые DB spans, health logs и собственные метрики инфраструктуры. SDK off отключает экспорт приложения, но backend и их self-monitoring продолжают работать. Отрицательные дельты counters означали бы restart и делали бы сравнение непригодным.

ID traces берутся из X-Trace-Id фактических ответов. Каждый ID запрашивается из Tempo. Входящий traceparent не задаётся: иначе parent-based sampler мог бы унаследовать решение клиента. Сохранность trace означает наличие хотя бы одного span по ID, а не доказательство полноты каждого span. Для полного sampling проверяется наличие всех 120 request traces. Отдельно считаются retained traces ожидаемых 401 и самых медленных 5% вызовов каждого опыта. Потери из-за решения sampling отделяются от ошибок exporter/refused spans. Число отсутствующих трасс — измерено; оценка потерь уникальных spans по одним счётчикам невозможна.

Среда

Параметры host/VM и исходный commit записаны в evidence/lab6-environment.json. Docker VM:2 CPU,2053644288 bytes RAM,arm64. Лимиты компонентов — compose.yaml. Старые стенды lab4/lab5 удалены до измерений по просьбе пользователя; их volumes сохранены. Отдельный PostgreSQL вне проекта остаётся работающим и создаёт небольшой фоновый шум. Графики/таблицы не сравниваются с измерениями lab5: это другой профиль нагрузки.

Результаты

Полный прогон завершился PASS:8 опытов,960 запросов,48 изображений ready,0 неожиданных ошибок. Исходные данные: JSON, CSV, агрегаты, журнал. Таблица воспроизводится командой python3 scripts/summarize_observability.py.

Config Repeat RPS p50 ms p95 ms p99 ms App CPU % App MiB Telemetry CPU % Telemetry MiB Request traces
off 1 8.047 11.934 29.423 42.462 8.132 70.39 4.816 616.03 0/120
full 1 8.053 11.856 31.41 42.052 9.962 73.733 10.37 608.78 120/120
ten_percent 1 8.057 9.991 52.789 168.924 8.846 71.971 10.784 502.69 17/120
balanced 1 8.062 10.423 30.254 52.116 8.462 71.314 10.322 651.25 72/120
balanced 2 8.048 11.346 37.555 72.706 8.014 59.703 7.096 600.74 53/120
ten_percent 2 8.061 12.281 42.42 63.216 7.942 60.066 13.176 671.03 17/120
full 2 8.048 12.379 31.356 45.834 9.114 74.053 7.598 676.44 120/120
off 2 8.05 10.728 30.012 63.853 7.404 64.176 6.616 563.21 0/120

Ниже суммы двух повторов каждой настройки; workload каждого варианта —240 измеряемых запросов. Объём ingest включает фоновые операции за окно наблюдения.

Настройка Tempo bytes Loki bytes TSDB samples Exported spans Traces запросов Traces401 Traces медленных 5%
off 0 0 46185 0 0/240 0/12 0/12
full 697602 198451 44282 4947 240/240 12/12 12/12
ten_percent 95539 196690 49391 461 34/240 2/12 3/12
balanced 362056 184978 44897 2402 125/240 7/12 8/12

При 50% trace ingest сократился на 48,10% относительно 100%; exported spans — примерно на 51,45%. Найдены 125/240 request traces,7/12 traces ожидаемых 401,8/12 traces самых медленных вызовов. При 10% ingest сократился на 86,30%, но потеряны 10/12 traces401 и 9/12 traces медленных вызовов. Во втором повторе 10% не сохранилась ни одна из 6 трасс upload. Это конкретный пример потери редкого пути, несмотря на успешную обработку всех изображений. Фактические 34/240=14,17% request traces при настройке 10% не обязаны точно совпадать с параметром: решение случайно, выборка небольшая, а byte/span-weighted доля зависит от типа запроса.

Во всех 8 опытах прирост exporter failed spans и receiver refused spans равен 0. При 100% найдены все 240 request traces, включая все 12 ожидаемых 401 и 12 самых медленных вызовов. Эти наблюдения не доказывают полноту каждого дочернего span. Accepted и sent counters снимаются асинхронно и могут пересекать разные границы batch/scrape; их разность не используется как число потерянных spans. Преднамеренная потеря при sampling показана через запросы по известным trace ID. Отдельно проверяется потеря при недоступном backend в evidence/lab6-backend-outage.json.

Средний по двум опытам CPU API+worker:off7,768%,100%9,538%,50%8,238%. Разница 100% и off составляет 1,77 процентного пункта одного CPU. Из-за короткого профиля и шума это наблюдение, а не точная оценка причинного overhead. RAM API+worker в варианте 100% достигала 74,053MiB против 70,390MiB в первом off. Backend RAM/CPU меняются с GC, compaction и кешами; sampling не даёт доказанного пропорционального снижения RAM. p99 при 10% колебался 63–169ms, при 100%42–46ms. Ускорение latency снижением sampling не подтверждено.

Logs ingest сохраняется примерно на одном уровне между on-вариантами:185–198kB за два окна. Metrics ingest в таблице включает self-monitoring backend, который работает и при SDK off. Фаза 5-секундного scrape и короткие окна дают существенную погрешность счётчика samples; по этим значениям нельзя приписать SDK отрицательную или точную дополнительную стоимость метрик. Метрики приложения при sampling traces продолжают экспортироваться; все обязательные сигналы проверены отдельно.

Проверенная сбалансированная настройка

Для обычного учебного трафика предлагается parentbased_traceidratio=0.5 с полными metrics/logs. Оба опыта 50% прошли без неожиданных ошибок, все 12 загрузок этого варианта стали ready, а trace ingest примерно вдвое ниже 100%. Критерий выбора — снижение ingest при сохранении заметной части путей, а не доказанное ускорение HTTP. Цена: потеря 115/240 request traces и части медленных/ошибочных запросов. Эта настройка не подходит как гарантия сохранности всех ошибок.

OTEL_TRACES_SAMPLER_ARG=0.5 ./scripts/compose.sh up -d --no-deps --force-recreate api worker

Для защиты и разбора редкого retry восстановите 100%:

OTEL_TRACES_SAMPLER_ARG=1.0 ./scripts/compose.sh up -d --no-deps --force-recreate api worker

Сценарий исследования сам восстановил SDK on/sampling100% после завершения.

Ограничения интерпретации

Два коротких повтора не дают узкий доверительный интервал для CPU и p99. При 8 RPS результат может определяться сетевой задержкой Docker и клиентом, а не SDK. Поэтому снижение p99 на одном варианте само по себе не доказывает ускорение приложения. Изменение ingest и сохранности traces — более прямое следствие sampling. Пять процентов самых медленных запросов определены относительно этого опыта, не production SLO.

Head sampling принимает решение до результата операции.50% не гарантирует сохранение 50% ошибок, а тем более всех редких 5xx. При 10% небольшая выборка ошибок может исчезнуть полностью. Сохранённые logs/metrics позволяют увидеть факт ошибки, но не восстановить потерянные spans. Чтобы сохранять почти все ошибки и редкие медленные запросы, нужен проверенный tail sampling либо отдельная политика захвата. Такой эксперимент в этой работе не заявляется.