forked from mtusi2026/mtusi2026lab6
Add reproducible observability cost modes and external measurements
This commit is contained in:
@@ -0,0 +1,13 @@
|
||||
## Context
|
||||
SDK/Collector и реальные отказы уровня 4 проверены. Измерения проводятся последовательно на одном Docker project, с сохранением volumes.
|
||||
## Goals / Non-Goals
|
||||
Измерить цену наблюдаемости и сохранность редких событий. Не искать максимальную пропускную способность и не публиковать решение.
|
||||
## Decisions
|
||||
Гипотеза: head 10% уменьшит ingest и CPU приложения, но потеряет большую часть редких ошибок/задержек; tail сохранит ошибки и slow, снижая хранение, но оставит цену SDK. Balanced использует tail с 5% normal и metric interval 30 s.
|
||||
Режимы: off (SDK disabled), on (100%), head (10% ParentBased), tail (100% SDK, Collector errors OR latency>=300ms OR 10%), balanced (5% baseline tail, interval30s). Tail decision_wait10s, num_traces2000, bounded decision cache. Все остальные параметры, образ, ресурсы и нагрузка одинаковые.
|
||||
Driver: 40 s, 20 arrivals/s, 64 client threads, 3 повтора режима; 2% error, 2% slow, остальные authenticated GET users/me. Это контролируемый HTTP/DB workload, не тест насыщения изображений; pipeline отдельно проверен уровнями3/4. Ошибки/slow задаются opt-in заголовком только на users/me после auth guard. Секреты существуют только в памяти клиента. Raw latency включает delay планировщика отдельно. После прогрева и перед/после серии — выдержка экспорта; fault hooks отключаются после опыта.
|
||||
CPU: delta Docker cgroup total_usage / elapsed, включая дочерние процессы. RAM: working set usage-inactive_file, samples раз в 2s. Это внешний сбор, независимый от SDK. Ingest: Tempo/Loki bytes и Prometheus appended samples отдельно, включая постоянный фон self-scrape. Spans: SDK ended, Collector accepted/sent/failed, найденные server roots normal/error/slow; намеренный sampling отдельно от export failure. Search limit превышает число запросов. Нагрузка не параллелится с тестами/другими сериями; Docker background inventory сохраняется.
|
||||
## Risks / Trade-offs
|
||||
Один локальный Docker Desktop host, короткие steady windows, клиент на том же host; не production capacity. Ротация режимов по повтору уменьшает временной дрейф. Три повтора описывают наблюдаемый диапазон, не доверительный интервал. Tail сохраняет только события внутри decision window; поздние spans/retry обсуждаются отдельно. Результат гипотезы не предрешён.
|
||||
## Validation
|
||||
Unit tests sampler/fault opt-in, make check/lint/student-test, Collector validation, smoke. Реальные серии, raw requests/resources/counters/trace IDs, summary и ограничения. Архив только после завершения всех повторов.
|
||||
@@ -0,0 +1,11 @@
|
||||
## Why
|
||||
Уровни 3/4 доказаны; цена SDK и sampling ещё не измерена. Трек 1 требует сравнения latency, CPU/RAM, ingest и потерь spans при одинаковой нагрузке.
|
||||
## What Changes
|
||||
- Настраиваемый root sampling ratio и счётчик завершённых sampled spans.
|
||||
- Изолированный opt-in cost fault hook: 503 и задержка 350 ms только для контрольных GET users/me.
|
||||
- Collector tail и balanced configurations; воспроизводимый open-loop driver, внешние Docker counters, raw results и заметки.
|
||||
## Capabilities
|
||||
### New Capabilities
|
||||
- `lab6-observability-cost`: воспроизводимое сравнение пяти режимов наблюдаемости.
|
||||
## Impact
|
||||
Только собственный код, scripts, compose, infra и evidence. API-контракт не меняется; fault hook выключен по умолчанию. REPORT готовит следующий агент.
|
||||
+11
@@ -0,0 +1,11 @@
|
||||
## ADDED Requirements
|
||||
### Requirement: Reproducible cost comparison
|
||||
The system SHALL support SDK off/on, head and tail sampling and a verified balanced configuration, measured under the same open-loop workload with raw latency, external CPU/RAM, ingest and span-loss evidence.
|
||||
#### Scenario: Three repeat rounds
|
||||
- **WHEN** the cost driver runs all five modes in three sequential rounds
|
||||
- **THEN** each run records actual requests, resources, ingest counters and retained normal/error/slow traces without fabricating missing observations
|
||||
### Requirement: Disabled experimental faults
|
||||
Controlled error and slow hooks SHALL be opt-in and SHALL NOT affect default requests.
|
||||
#### Scenario: Ordinary deployment
|
||||
- **WHEN** the experiment setting is false
|
||||
- **THEN** experiment headers cannot inject failure or delay
|
||||
@@ -0,0 +1,6 @@
|
||||
- [ ] 1. Sampling, span accounting and opt-in fault hooks with meaningful tests
|
||||
- [ ] 2. Tail/balanced Collector configs and sequential external measurement driver
|
||||
- [ ] 3. make check/lint/student-test, config validation and smoke
|
||||
- [ ] 4. Three real rounds of off/on/head/tail/balanced; raw evidence
|
||||
- [ ] 5. Compare observations, recommend verified balance, record limitations
|
||||
- [ ] 6. Restore default configuration, final checks, sync/archive and stop own stand
|
||||
Reference in New Issue
Block a user