lab6: размер очередей Collector под memory_limiter, явный frontend_worker Tempo, заголовок traceresponse, проверка восстановления по ID трассы

This commit is contained in:
2026-11-12 13:15:29 +03:00
parent 57d8d3f324
commit 515b3913a2
5 changed files with 43 additions and 11 deletions
+6 -3
View File
@@ -10,6 +10,9 @@
# ограниченной очереди), вместо бесконечного роста RSS;
# batch — пакеты до 1024 элементов / 2 s;
# sending_queue (in-memory, queue_size пакетов) + retry_on_failure (≤ 60 s) —
# размер подобран так, чтобы очередь целиком (20 пакетов × 1024 spans) помещалась
# ниже soft limit memory_limiter: при queue_size 200 и пакетах до 2048 очередь при
# отказе Tempo упиралась в hard limit, и Collector отвергал НОВЫЕ данные (прогон 4);
# при недоступном Tempo/Loki данные ждут ограниченное время в ограниченной
# очереди, затем отбрасываются и считаются в otelcol_exporter_send_failed_*.
# Метрики не буферизуются вовсе: exporter prometheus хранит только текущее
@@ -47,7 +50,7 @@ processors:
spike_limit_mib: 50
batch:
send_batch_size: 1024
send_batch_max_size: 2048
send_batch_max_size: 1024
timeout: 2s
# Защита от утечек на случай ошибки инструментирования: такие ключи не должны
# появляться, но если появятся — удаляются до экспорта.
@@ -68,7 +71,7 @@ exporters:
sending_queue:
enabled: true
num_consumers: 2
queue_size: 200
queue_size: 20 # ≤ 20 пакетов × ≤ 1024 элемента: очередь помещается в memory_limiter
retry_on_failure:
enabled: true
initial_interval: 1s
@@ -79,7 +82,7 @@ exporters:
sending_queue:
enabled: true
num_consumers: 2
queue_size: 200
queue_size: 20 # ≤ 20 пакетов × ≤ 1024 элемента: очередь помещается в memory_limiter
retry_on_failure:
enabled: true
initial_interval: 1s
+6 -3
View File
@@ -7,6 +7,9 @@
# ограниченной очереди), вместо бесконечного роста RSS;
# batch — пакеты до 1024 элементов / 2 s;
# sending_queue (in-memory, queue_size пакетов) + retry_on_failure (≤ 60 s) —
# размер подобран так, чтобы очередь целиком (20 пакетов × 1024 spans) помещалась
# ниже soft limit memory_limiter: при queue_size 200 и пакетах до 2048 очередь при
# отказе Tempo упиралась в hard limit, и Collector отвергал НОВЫЕ данные (прогон 4);
# при недоступном Tempo/Loki данные ждут ограниченное время в ограниченной
# очереди, затем отбрасываются и считаются в otelcol_exporter_send_failed_*.
# Метрики не буферизуются вовсе: exporter prometheus хранит только текущее
@@ -26,7 +29,7 @@ processors:
spike_limit_mib: 50
batch:
send_batch_size: 1024
send_batch_max_size: 2048
send_batch_max_size: 1024
timeout: 2s
# Защита от утечек на случай ошибки инструментирования: такие ключи не должны
# появляться, но если появятся — удаляются до экспорта.
@@ -47,7 +50,7 @@ exporters:
sending_queue:
enabled: true
num_consumers: 2
queue_size: 200
queue_size: 20 # ≤ 20 пакетов × ≤ 1024 элемента: очередь помещается в memory_limiter
retry_on_failure:
enabled: true
initial_interval: 1s
@@ -58,7 +61,7 @@ exporters:
sending_queue:
enabled: true
num_consumers: 2
queue_size: 200
queue_size: 20 # ≤ 20 пакетов × ≤ 1024 элемента: очередь помещается в memory_limiter
retry_on_failure:
enabled: true
initial_interval: 1s
+5
View File
@@ -10,6 +10,11 @@ distributor:
protocols:
grpc:
endpoint: 0.0.0.0:4317
# Явный адрес frontend для querier в single-binary: автоматическая настройка после
# рестарта Tempo оставляла запросы без ответа (прогон 4, отказ backend).
querier:
frontend_worker:
frontend_address: 127.0.0.1:9095
ingester:
max_block_duration: 5m
compactor:
@@ -79,6 +79,10 @@ func Telemetry(next http.Handler) http.Handler {
attribute.String("request_id", httputil.RequestIDFrom(r.Context())),
))
defer span.End()
if sc := span.SpanContext(); sc.IsSampled() {
// W3C Trace Context Level 2: клиент (и тест) получает ID трассы своего запроса.
w.Header().Set("traceresponse", "00-"+sc.TraceID().String()+"-"+sc.SpanID().String()+"-01")
}
methodAttr := attribute.String("http.request.method", r.Method)
inflight.Add(ctx, 1, metric.WithAttributes(methodAttr))
defer inflight.Add(ctx, -1, metric.WithAttributes(methodAttr))
+22 -5
View File
@@ -399,13 +399,30 @@ def scenario_backend_down(c):
compose('up', '-d', '--wait', '--no-deps', 'tempo', 'loki', timeout=180)
t_up = time.time()
rid = 'obs-after-' + uuid.uuid4().hex[:8]
c.call('POST', '/api/v1/chats/%s/messages' % chat['id'], 201, actor=alice, body={'text': 'after'},
headers={'Idempotency-Key': uuid.uuid4().hex, 'X-Request-Id': rid})
# gRPC-клиент Collector переподключается к Tempo с экспоненциальной паузой (до 120 s):
# измеряем, через сколько секунд после возврата Tempo новые трассы снова доступны.
got = o.find_trace('{span.request_id="%s"}' % rid, t_up - 2, timeout=240)
sent0 = q('sum({__name__=~"otelcol_exporter_sent_spans(_total)?", exporter="otlp/tempo"})')
# Новые запросы после возврата Tempo; трасса ищется по ID из заголовка traceresponse
# (минуя поиск) — сначала каждые 5 s новый запрос, пока трасса не появится.
got, tids = None, []
end = time.time() + 240
while time.time() < end and not got:
r = c.call('POST', '/api/v1/chats/%s/messages' % chat['id'], 201, actor=alice, body={'text': 'after'},
headers={'Idempotency-Key': uuid.uuid4().hex, 'X-Request-Id': rid})
tid = (r['headers'].get('traceresponse') or '--').split('-')[1]
tids.append(tid)
for t in tids:
try:
if o.tempo_trace(t)[0]:
got = t
break
except Exception:
pass
if not got:
time.sleep(5)
phase['tempo_spans_exported_after_up'] = q('sum({__name__=~"otelcol_exporter_sent_spans(_total)?", exporter="otlp/tempo"})') - sent0
phase['refused_spans_total'] = q('sum({__name__=~"otelcol_receiver_refused_spans(_total)?"})')
phase['new_trace_after_recovery'] = bool(got)
phase['traces_visible_seconds_after_tempo_up'] = round(time.time() - t_up, 1) if got else None
phase['probe_requests_after_up'] = len(tids)
# Фаза 2: остановлен сам Collector — SDK отбрасывает по ограниченной очереди
compose('stop', 'otel-collector')
t_cd = time.time()