14 KiB
Цена наблюдаемости: методика трека 1
Гипотеза
Снижение head sampling уменьшит объём traces и нагрузку telemetry backend. Метрики и логи останутся полными. Цена — потеря части трасс ошибок и медленных запросов. Сравниваются SDK off, sampling 100%,10%,50%. Кандидат сбалансированной настройки —50%. Приоритет учебного стенда: сохранить достаточно трасс для диагностики при меньшем ingest.
Повторение
make up
make test
python3 scripts/observability_experiment.py --requests 120 --rate 8 --concurrency 4 --repetitions 2
python3 scripts/summarize_observability.py
Запускайте последовательно с fault suite. Сценарий пересоздаёт API и worker, выставляет OTEL_SDK_DISABLED/OTEL_TRACES_SAMPLER_ARG, затем восстанавливает SDK on/sampling 100% в finally. Collector и backend не пересоздаются между вариантами; их counters сохраняются. Первый повтор: off→100%→10%→50%; второй — в обратном порядке.
На каждый вариант создаётся один синтетический пользователь, один чат и одинаковый набор данных. Из 120 измеряемых запросов 90 читают пользователя,18 создают сообщения,6 загружают PNG,6 ожидают 401. Размер fixture и текст сообщений одинаковы. Каждая из 6 загрузок должна стать ready. 401 — ожидаемая клиентская ошибка; её не следует путать с 5xx и нарушением SLO API. Ошибки сверх ожидаемых статусов считаются отдельно; повтор запроса автоматически не выполняется.
После пересоздания выдерживаются 8 секунд, затем 20 GET для прогрева и ещё6 секунд. Планировщик задаёт 8 запросов/с и максимум 4 одновременно исполняемых вызова. При перегрузке клиент может отстать от расписания: это ограниченный генератор, не доказательство capacity. Latency измеряется от начала фактического вызова; задержка планировщика в percentile не входит. p50/p95/p99 включают все 120 вызовов, в том числе ожидаемые 401.
Во время нагрузки docker stats фиксирует CPU/RAM контейнеров примерно каждые 3 секунды. CPU — сумма средних по контейнерам;100% соответствует одному полностью занятому CPU. RAM — сумма наблюдавшихся максимумов, которые могли приходиться на разные моменты времени. Отдельно считаются API+worker и Collector/Prometheus/Loki/Tempo/Grafana. Измеряется не вся стоимость business stack: PostgreSQL/Redis/S3 не включены в группу application.
Через 12 секунд после нагрузки снимаются счётчики Collector и backend. Ingest traces/logs — прирост *_bytes_received_total, metrics — прирост TSDB appended samples. Это входные bytes/samples, не размер compressed storage и не сетевой трафик всего стенда. В прирост входят фоновые DB spans, health logs и собственные метрики инфраструктуры. SDK off отключает экспорт приложения, но backend и их self-monitoring продолжают работать. Отрицательные дельты counters означали бы restart и делали бы сравнение непригодным.
ID traces берутся из X-Trace-Id фактических ответов. Каждый ID запрашивается из Tempo. Входящий traceparent не задаётся: иначе parent-based sampler мог бы унаследовать решение клиента. Сохранность trace означает наличие хотя бы одного span по ID, а не доказательство полноты каждого span. Для полного sampling проверяется наличие всех 120 request traces. Отдельно считаются retained traces ожидаемых 401 и самых медленных 5% вызовов каждого опыта. Потери из-за решения sampling отделяются от ошибок exporter/refused spans. Число отсутствующих трасс — измерено; оценка потерь уникальных spans по одним счётчикам невозможна.
Среда
Параметры host/VM и исходный commit записаны в evidence/lab6-environment.json. Docker VM:2 CPU,2053644288 bytes RAM,arm64. Лимиты компонентов — compose.yaml. Старые стенды lab4/lab5 удалены до измерений по просьбе пользователя; их volumes сохранены. Отдельный PostgreSQL вне проекта остаётся работающим и создаёт небольшой фоновый шум. Графики/таблицы не сравниваются с измерениями lab5: это другой профиль нагрузки.
Результаты
Полный прогон завершился PASS:8 опытов,960 запросов,48 изображений ready,0 неожиданных ошибок.
Исходные данные: JSON, CSV,
агрегаты, журнал.
Таблица воспроизводится командой python3 scripts/summarize_observability.py.
| Config | Repeat | RPS | p50 ms | p95 ms | p99 ms | App CPU % | App MiB | Telemetry CPU % | Telemetry MiB | Request traces |
|---|---|---|---|---|---|---|---|---|---|---|
| off | 1 | 8.047 | 11.934 | 29.423 | 42.462 | 8.132 | 70.39 | 4.816 | 616.03 | 0/120 |
| full | 1 | 8.053 | 11.856 | 31.41 | 42.052 | 9.962 | 73.733 | 10.37 | 608.78 | 120/120 |
| ten_percent | 1 | 8.057 | 9.991 | 52.789 | 168.924 | 8.846 | 71.971 | 10.784 | 502.69 | 17/120 |
| balanced | 1 | 8.062 | 10.423 | 30.254 | 52.116 | 8.462 | 71.314 | 10.322 | 651.25 | 72/120 |
| balanced | 2 | 8.048 | 11.346 | 37.555 | 72.706 | 8.014 | 59.703 | 7.096 | 600.74 | 53/120 |
| ten_percent | 2 | 8.061 | 12.281 | 42.42 | 63.216 | 7.942 | 60.066 | 13.176 | 671.03 | 17/120 |
| full | 2 | 8.048 | 12.379 | 31.356 | 45.834 | 9.114 | 74.053 | 7.598 | 676.44 | 120/120 |
| off | 2 | 8.05 | 10.728 | 30.012 | 63.853 | 7.404 | 64.176 | 6.616 | 563.21 | 0/120 |
Ниже суммы двух повторов каждой настройки; workload каждого варианта —240 измеряемых запросов. Объём ingest включает фоновые операции за окно наблюдения.
| Настройка | Tempo bytes | Loki bytes | TSDB samples | Exported spans | Traces запросов | Traces401 | Traces медленных 5% |
|---|---|---|---|---|---|---|---|
| off | 0 | 0 | 46185 | 0 | 0/240 | 0/12 | 0/12 |
| full | 697602 | 198451 | 44282 | 4947 | 240/240 | 12/12 | 12/12 |
| ten_percent | 95539 | 196690 | 49391 | 461 | 34/240 | 2/12 | 3/12 |
| balanced | 362056 | 184978 | 44897 | 2402 | 125/240 | 7/12 | 8/12 |
При 50% trace ingest сократился на 48,10% относительно 100%; exported spans — примерно на 51,45%. Найдены 125/240 request traces,7/12 traces ожидаемых 401,8/12 traces самых медленных вызовов. При 10% ingest сократился на 86,30%, но потеряны 10/12 traces401 и 9/12 traces медленных вызовов. Во втором повторе 10% не сохранилась ни одна из 6 трасс upload. Это конкретный пример потери редкого пути, несмотря на успешную обработку всех изображений. Фактические 34/240=14,17% request traces при настройке 10% не обязаны точно совпадать с параметром: решение случайно, выборка небольшая, а byte/span-weighted доля зависит от типа запроса.
Во всех 8 опытах прирост exporter failed spans и receiver refused spans равен 0. При 100% найдены все 240 request traces, включая все 12 ожидаемых 401 и 12 самых медленных вызовов. Эти наблюдения не доказывают полноту каждого дочернего span. Accepted и sent counters снимаются асинхронно и могут пересекать разные границы batch/scrape; их разность не используется как число потерянных spans. Преднамеренная потеря при sampling показана через запросы по известным trace ID. Отдельно проверяется потеря при недоступном backend в evidence/lab6-backend-outage.json.
Средний по двум опытам CPU API+worker:off7,768%,100%9,538%,50%8,238%. Разница 100% и off составляет 1,77 процентного пункта одного CPU. Из-за короткого профиля и шума это наблюдение, а не точная оценка причинного overhead. RAM API+worker в варианте 100% достигала 74,053MiB против 70,390MiB в первом off. Backend RAM/CPU меняются с GC, compaction и кешами; sampling не даёт доказанного пропорционального снижения RAM. p99 при 10% колебался 63–169ms, при 100%42–46ms. Ускорение latency снижением sampling не подтверждено.
Logs ingest сохраняется примерно на одном уровне между on-вариантами:185–198kB за два окна. Metrics ingest в таблице включает self-monitoring backend, который работает и при SDK off. Фаза 5-секундного scrape и короткие окна дают существенную погрешность счётчика samples; по этим значениям нельзя приписать SDK отрицательную или точную дополнительную стоимость метрик. Метрики приложения при sampling traces продолжают экспортироваться; все обязательные сигналы проверены отдельно.
Проверенная сбалансированная настройка
Для обычного учебного трафика предлагается parentbased_traceidratio=0.5 с полными metrics/logs. Оба опыта 50% прошли без неожиданных ошибок, все 12 загрузок этого варианта стали ready, а trace ingest примерно вдвое ниже 100%. Критерий выбора — снижение ingest при сохранении заметной части путей, а не доказанное ускорение HTTP. Цена: потеря 115/240 request traces и части медленных/ошибочных запросов. Эта настройка не подходит как гарантия сохранности всех ошибок.
OTEL_TRACES_SAMPLER_ARG=0.5 ./scripts/compose.sh up -d --no-deps --force-recreate api worker
Для защиты и разбора редкого retry восстановите 100%:
OTEL_TRACES_SAMPLER_ARG=1.0 ./scripts/compose.sh up -d --no-deps --force-recreate api worker
Сценарий исследования сам восстановил SDK on/sampling100% после завершения.
Ограничения интерпретации
Два коротких повтора не дают узкий доверительный интервал для CPU и p99. При 8 RPS результат может определяться сетевой задержкой Docker и клиентом, а не SDK. Поэтому снижение p99 на одном варианте само по себе не доказывает ускорение приложения. Изменение ingest и сохранности traces — более прямое следствие sampling. Пять процентов самых медленных запросов определены относительно этого опыта, не production SLO.
Head sampling принимает решение до результата операции.50% не гарантирует сохранение 50% ошибок, а тем более всех редких 5xx. При 10% небольшая выборка ошибок может исчезнуть полностью. Сохранённые logs/metrics позволяют увидеть факт ошибки, но не восстановить потерянные spans. Чтобы сохранять почти все ошибки и редкие медленные запросы, нужен проверенный tail sampling либо отдельная политика захвата. Такой эксперимент в этой работе не заявляется.