Add reproducible observability cost modes and external measurements

This commit is contained in:
Artyom
2026-11-06 21:22:38 +03:00
parent 20e7759f87
commit 202b985dea
16 changed files with 624 additions and 8 deletions
@@ -0,0 +1,13 @@
## Context
SDK/Collector и реальные отказы уровня 4 проверены. Измерения проводятся последовательно на одном Docker project, с сохранением volumes.
## Goals / Non-Goals
Измерить цену наблюдаемости и сохранность редких событий. Не искать максимальную пропускную способность и не публиковать решение.
## Decisions
Гипотеза: head 10% уменьшит ingest и CPU приложения, но потеряет большую часть редких ошибок/задержек; tail сохранит ошибки и slow, снижая хранение, но оставит цену SDK. Balanced использует tail с 5% normal и metric interval 30 s.
Режимы: off (SDK disabled), on (100%), head (10% ParentBased), tail (100% SDK, Collector errors OR latency>=300ms OR 10%), balanced (5% baseline tail, interval30s). Tail decision_wait10s, num_traces2000, bounded decision cache. Все остальные параметры, образ, ресурсы и нагрузка одинаковые.
Driver: 40 s, 20 arrivals/s, 64 client threads, 3 повтора режима; 2% error, 2% slow, остальные authenticated GET users/me. Это контролируемый HTTP/DB workload, не тест насыщения изображений; pipeline отдельно проверен уровнями3/4. Ошибки/slow задаются opt-in заголовком только на users/me после auth guard. Секреты существуют только в памяти клиента. Raw latency включает delay планировщика отдельно. После прогрева и перед/после серии — выдержка экспорта; fault hooks отключаются после опыта.
CPU: delta Docker cgroup total_usage / elapsed, включая дочерние процессы. RAM: working set usage-inactive_file, samples раз в 2s. Это внешний сбор, независимый от SDK. Ingest: Tempo/Loki bytes и Prometheus appended samples отдельно, включая постоянный фон self-scrape. Spans: SDK ended, Collector accepted/sent/failed, найденные server roots normal/error/slow; намеренный sampling отдельно от export failure. Search limit превышает число запросов. Нагрузка не параллелится с тестами/другими сериями; Docker background inventory сохраняется.
## Risks / Trade-offs
Один локальный Docker Desktop host, короткие steady windows, клиент на том же host; не production capacity. Ротация режимов по повтору уменьшает временной дрейф. Три повтора описывают наблюдаемый диапазон, не доверительный интервал. Tail сохраняет только события внутри decision window; поздние spans/retry обсуждаются отдельно. Результат гипотезы не предрешён.
## Validation
Unit tests sampler/fault opt-in, make check/lint/student-test, Collector validation, smoke. Реальные серии, raw requests/resources/counters/trace IDs, summary и ограничения. Архив только после завершения всех повторов.
@@ -0,0 +1,11 @@
## Why
Уровни 3/4 доказаны; цена SDK и sampling ещё не измерена. Трек 1 требует сравнения latency, CPU/RAM, ingest и потерь spans при одинаковой нагрузке.
## What Changes
- Настраиваемый root sampling ratio и счётчик завершённых sampled spans.
- Изолированный opt-in cost fault hook: 503 и задержка 350 ms только для контрольных GET users/me.
- Collector tail и balanced configurations; воспроизводимый open-loop driver, внешние Docker counters, raw results и заметки.
## Capabilities
### New Capabilities
- `lab6-observability-cost`: воспроизводимое сравнение пяти режимов наблюдаемости.
## Impact
Только собственный код, scripts, compose, infra и evidence. API-контракт не меняется; fault hook выключен по умолчанию. REPORT готовит следующий агент.
@@ -0,0 +1,11 @@
## ADDED Requirements
### Requirement: Reproducible cost comparison
The system SHALL support SDK off/on, head and tail sampling and a verified balanced configuration, measured under the same open-loop workload with raw latency, external CPU/RAM, ingest and span-loss evidence.
#### Scenario: Three repeat rounds
- **WHEN** the cost driver runs all five modes in three sequential rounds
- **THEN** each run records actual requests, resources, ingest counters and retained normal/error/slow traces without fabricating missing observations
### Requirement: Disabled experimental faults
Controlled error and slow hooks SHALL be opt-in and SHALL NOT affect default requests.
#### Scenario: Ordinary deployment
- **WHEN** the experiment setting is false
- **THEN** experiment headers cannot inject failure or delay
@@ -0,0 +1,6 @@
- [ ] 1. Sampling, span accounting and opt-in fault hooks with meaningful tests
- [ ] 2. Tail/balanced Collector configs and sequential external measurement driver
- [ ] 3. make check/lint/student-test, config validation and smoke
- [ ] 4. Three real rounds of off/on/head/tail/balanced; raw evidence
- [ ] 5. Compare observations, recommend verified balance, record limitations
- [ ] 6. Restore default configuration, final checks, sync/archive and stop own stand