30 KiB
Отчёт — лабораторная 6
- Автор, группа: Вейнмайер Андрей Андреевич, БВТ2303
- Целевая оценка: 5 (уровни 3, 4 и трек 1 «Цена наблюдаемости»)
- Commit/PR: ветка
solution/bvt2303-weinmaierв https://gitea.privcloud.tech/Weinmaier_Andrew/mtusi2026lab6 (PR не открывался) - Основа: собственная lab5 (PR mtusi2026/mtusi2026lab5#35) — RabbitMQ, outbox, worker, versioned pipeline; через неё lab3–4
- Использованные источники:
- Контракт: contracts/observability.md, contracts/README.md
- Библиотеки: go.opentelemetry.io/otel v1.47 (SDK traces/metrics/logs, OTLP/HTTP exporters), contrib: otelslog, otelhttp, runtime, host; github.com/exaring/otelpgx; go-redis/extra/redisotel
- Документация: OpenTelemetry Collector (receivers/processors/exporters, memory_limiter, exporterhelper sending_queue, tail_sampling), W3C Trace Context, Prometheus histograms, Loki OTLP ingestion, Tempo TraceQL, Grafana provisioning
- Помощь ИИ: ИИ-ассистент использовался при реализации и отладке; все результаты ниже — реальные прогоны, ссылки на них приведены.
Запуск из чистого clone
| Роль | Сервис | Образ | Хранение |
|---|---|---|---|
| Collector | otel-collector |
otel/opentelemetry-collector-contrib:0.116.1 | — (не БД: только приём, обработка, экспорт) |
| Метрики + alerts | prometheus |
prom/prometheus:v3.1.0 | volume prometheus_data, 7 дней |
| Логи | loki |
grafana/loki:3.3.2 | volume loki_data, 7 дней |
| Трассы | tempo (+ tempo-init) |
grafana/tempo:2.6.1 | volume tempo_data, 7 дней |
| Интерфейс | grafana |
grafana/grafana:11.4.0 | volume grafana_data (только состояние Grafana) |
Остальное — как в lab5 (HAProxy, 2 × API, PostgreSQL, Redis, MinIO, RabbitMQ, relay, worker, reconciler). Digest всех образов — evidence/images.txt.
sh scripts/init-secrets.sh # .env и secrets/ (в т.ч. пароль admin Grafana; значения не печатаются)
docker compose --env-file .env up -d --build --wait # стенд + Collector, Prometheus, Loki, Tempo, Grafana (provisioning из Git)
make test # публичный smoke lab6
python3 student-tests/observability_ops.py signals # сигналы, сквозная трасса, утечки, dashboard (и retry-trace, incident-worker,
# incident-db, backend-down)
python3 student-tests/telemetry_cost.py --rounds 3 # трек 1
sh scripts/collect-evidence.sh all # все доказательства в evidence/
Grafana: http://127.0.0.1:3000 (HTTPS — в lab7), пользователь admin, пароль — secrets/grafana_admin_password; dashboard «Messenger — API, worker, очередь» и три источника появляются без ручных действий. Prometheus UI — 127.0.0.1:9090. Остановка: docker compose stop; удаление учебных данных вместе с телеметрией: docker compose down -v.
Где запускался стенд
Docker-проверки — на GitHub-hosted runner (2 vCPU, 8 GB, Docker 28.0.4, Compose v2.38.2) workflow .github/workflows/lab6-stand.yml: Go-тесты и пять независимых стендов (base, files, pipeline, obs, track1). Итоговый прогон: https://github.com/CharaWein/2026_lab3/actions/runs/43208190207 (commit d90aef7). Все файлы evidence/ — из него.
Архитектура и решения
api ×2 / relay / worker ── OTLP/HTTP :4318 ──► otel-collector ──► otlp/tempo ──► Tempo (traces)
(SDK: BatchSpanProcessor, memory_limiter ──► otlphttp ───► Loki (logs, /otlp)
PeriodicReader 5s, slog→otelslog) batch, scrub ──► prometheus :8889 ◄── Prometheus (pull 5s)
├─ rules (SLI, alerts)
Grafana ◄──── datasources (provisioning) ┘
- Почему три хранилища. Prometheus — временные ряды (счётчики, histogram, alert rules), Loki — события (структурные логи, индекс только по меткам потока, атрибуты — structured metadata), Tempo — причинность одного запроса/задания (span-дерево по trace_id). Collector хранит только очереди в памяти; Grafana — интерфейс и связи между источниками (exemplar → трасса, лог
trace_id→ трасса, трасса → логи). - SDK (internal/telemetry): ресурс
service.name(messenger-api / messenger-worker / messenger-relay),service.version,service.instance.id(= X-Instance-Id),deployment.environment.name=lab. Логи пишутся в stdout (JSON с trace_id/span_id) и через мост otelslog в Collector.OTEL_SDK_DISABLED=trueвыключает экспорт; sampler — стандартныеOTEL_TRACES_SAMPLER(_ARG). - HTTP (middleware/telemetry.go): server span
METHOD /шаблон, метрикаhttp.server.request.duration(секунды, buckets 2 ms…30 s); её_count— счётчик запросов (одна метрика, не две). Метки: метод,http.route(шаблон ServeMux), код и класс ответа./health/*метрики пишет, трасс нет. Ответ несётtraceresponse(W3C). - Зависимости: otelpgx — spans SQL (текст с плейсхолдерами, без значений) и ожидания пула (
pool.acquire), метрикиpgxpool_*; otelhttp вокруг minio-go — spansS3 GET/PUT; redisotel — spans команд без аргументов. - Очередь (W3C через outbox и AMQP, 0006_telemetry.up.sql): upload пишет
traceparentактивного span вoutbox.trace_context(иjobs.trace_context); relay создаёт producer spanattachment.process publishдочерним к нему и кладёт его контекст в заголовки AMQP; worker — consumer spanattachment.process processдочерний к producer. Повтор пишет в outbox контекст неудачной попытки — вся цепочка retry в одной трассе; sweeper (без своего span) берёт контекст исходного upload из jobs. - Worker-метрики:
messenger.jobs.processed{job.type,outcome},messenger.job.duration(histogram),messenger.attachment.time_to_ready(от создания job при 202 до ready),messenger.worker.busy/messenger.worker.capacity(saturation). Очередь (relay, по PostgreSQL — источнику истины):messenger.jobs.backlog{state},messenger.jobs.oldest_age(s),messenger.outbox.pending,messenger.outbox.oldest_age; плюс глубина очередей RabbitMQ (rabbitmq_queue_messages_ready). - Фоновые циклы relay (опрос outbox каждые 300 ms, sweeper, gauges) идут под не-сэмплированным контекстом — иначе каждый опрос был бы отдельной трассой.
Соответствие контракту наблюдаемости (имена в Prometheus — после трансляции OTel → Prometheus в exporter Collector; полный список — evidence/obs/prometheus_state.json):
| Сигнал контракта | Имя | Метки |
|---|---|---|
| HTTP requests | http_server_request_duration_seconds_count |
http_request_method, http_route, http_response_status_code, http_response_status_class, job, instance |
| HTTP duration | http_server_request_duration_seconds_bucket (s) |
те же |
| Jobs processed / failed | messenger_jobs_processed_total |
job_type, outcome (done, retry, failed, duplicate, not_due, requeue…) |
| Job duration | messenger_job_duration_seconds_bucket |
job_type, outcome |
| Логи | Loki: {service_name=…}, structured metadata event, trace_id, span_id, severity_text, request_id, route, status |
— |
| Traces | Tempo: server / producer / consumer / client spans | — |
| Queue depth / oldest age | messenger_jobs_backlog, messenger_jobs_oldest_age_seconds, rabbitmq_queue_messages_ready |
state, queue |
| Pool / saturation | pgxpool_acquired_connections, pgxpool_max_connections, pgxpool_empty_acquire_total; messenger_worker_busy / messenger_worker_capacity; process_cpu_time_seconds_total, go_memory_used_bytes |
job, instance |
| Сквозная связь | traceparent в outbox и заголовках AMQP, parent-child |
— |
| Time to ready | messenger_attachment_time_to_ready_seconds_bucket |
job_type |
Error ratio: числитель — запросы с http_response_status_class="5xx", знаменатель — все запросы, кроме /health/*; 4xx (неверный пароль, чужой чат) — ошибки клиента, в SLO не входят. p95/p99 — histogram_quantile по sum by (le) buckets всех реплик (никакого усреднения p99 реплик).
SLI/SLO (rules/messenger.yml, окно SLO — 28 дней, на стенде видны короткие окна): доступность API ≥ 99.5% бизнес-запросов без 5xx; задержка — ≥ 95% быстрее 250 ms; время до ready — ≥ 95% быстрее 30 s. Alerts (состояние firing/resolved — в Prometheus и на dashboard как аннотации; runbooks — infra/RUNBOOKS.md): MessengerHighErrorRate (5xx > 5% за 1m, 30 s), MessengerQueueLagGrowing (старейшая job > 60 s, 30 s), MessengerWorkerAbsent, MessengerTelemetryExportFailing.
Ограниченная буферизация: SDK — очередь BatchSpanProcessor 4096 spans, логов 4096 (переполнение — отбрасывание); Collector — memory_limiter 200 MiB (spike 50) первым в pipeline, sending_queue 20 пакетов × ≤ 1024 элементов и retry_on_failure ≤ 60 s на экспортёр (Tempo, Loki), лимит контейнера 256 MiB; метрики не буферизуются (Prometheus pull, metric_expiration 1m).
Исправления, найденные прогонами
| Что показал прогон | Причина | Исправление |
|---|---|---|
| API не стартовал (прогон 1) | конфликт schema URL ресурса: semconv 1.40 vs 1.43 в SDK | semconv 1.43 + unit-тест Setup с настоящими экспортёрами |
alert MessengerTelemetryExportFailing и панели Collector без данных |
внутренние метрики Collector 0.116 без суффикса _total |
запросы {__name__=~"otelcol_…(_total)?"} |
| tail sampling терял 1 из 24 ошибок (прогон 3) | decision_wait: 5s ≤ длительности трассы ошибки (таймаут обработчика 5 s): решение до прихода корневого span со статусом ERROR |
decision_wait: 10s; в итоговом прогоне потерь ошибок нет |
| после отказа Tempo новые трассы не появлялись (прогоны 4–5) | очередь экспорта 200 пакетов × до 2048 spans упёрлась в hard limit memory_limiter — Collector отвергал новые данные; в Tempo single-binary querier без явного адреса frontend |
очередь 20 × 1024 (помещается в soft limit), querier.frontend_worker.frontend_address; поиск трассы — по ID из traceresponse |
| Tempo/Loki перезапускались под нагрузкой трека 1 (прогон 5) | лимит 512 MiB при ~14 тыс. spans на 1000 запросов | 1 GiB; в доказательства добавлено состояние контейнеров (containers_state_*.txt: restarts, OOMKilled) |
Доказательства критериев
Уровень 3
| Критерий | Сценарий | Результат | Файл |
|---|---|---|---|
| Минимум lab5 работает | smoke, регрессии, failover ×2, persistence (перезапуск включает стек наблюдаемости), сценарии pipeline | все PASS; failover — восстановление записи 3.535 / 3.478 s; demo: ready через 2.6 s | evidence/smoke.txt, failover_.txt, persistence.txt, pipeline/.json |
| Collector, 3 хранилища, Grafana в стенде; конфиги и provisioning в Git; volumes | compose.yaml, infra/ | datasources из provisioning: loki:loki, prometheus:prometheus, tempo:tempo; dashboard «Messenger — API, worker, очередь» (30 панелей) | evidence/obs/signals.json |
| API и worker → OTLP; RPS/errors/duration API, jobs и duration worker, логи, трассы | observability_ops.py signals |
все сигналы контракта найдены в Prometheus (число серий в signals.json); трассы трёх сервисов; логи с trace_id | evidence/obs/signals.json, prometheus_state.json |
| Импортируемый dashboard, не скриншот | provisioning + проверка запросов | 39 запросов панелей выполнены через Grafana без ошибок; без данных в момент проверки: 2 (окно 5m без загрузок, нет 4xx) | infra/grafana/dashboards/messenger.json, evidence/obs/dashboard.png |
| Низкая кардинальность, trace/span ID в логах, без секретов | проверка меток и поиск утечек | запрещённых меток (user_id, chat_id, message_id, attachment_id, request_id, url, filename…) нет; http_route — только шаблоны (8 значений); пароль, токен, текст сообщения, заголовок Bearer: 0 вхождений в Loki, Tempo и stdout |
evidence/obs/signals.json |
| Контролируемый запрос → trace → лог; job → worker trace и лог | signals |
запрос obs-msg-249e829f8c1e4049 → trace c275fd38f588c08d29aea802ac7c9c83 → лог API event=http.request, route=/api/v1/chats/{chat_id}/messages, тот же trace_id/span_id; upload → trace cf8628e62914dd27bef25fbfca80ba11 с логами worker job.claimed, job.done |
evidence/obs/signals.json |
| make test при включённой телеметрии | smoke | PASS | evidence/smoke.txt |
Уровень 4
| Критерий | Сценарий | Результат | Файл |
|---|---|---|---|
| W3C context API → broker → worker; producer/consumer; цепочка до S3/DB, включая retry | signals, retry-trace |
одна трасса upload: messenger-api, messenger-relay, messenger-worker, 65 spans; связи parent-child: API server → relay producer → worker consumer → image.decode, S3 PUT, SQL (BEGIN, COMMIT, INSERT, SELECT, UPDATE…). Retry при остановленном S3: попытки 1=retry, 2=retry, 3=retry, 4=done в той же трассе, 4 producer spans |
evidence/obs/signals.json, retry-trace.json |
| p50/p95/p99, доля ошибок, queue depth/возраст, DB pool, saturation; запросы и единицы | dashboard | панели с histogram_quantile по buckets, единицы (s, %, req/s, bytes) в JSON |
infra/grafana/dashboards/messenger.json |
| SLI/SLO и окно; alert rules high error rate и queue lag, проверены отказом | инциденты 1 и 2 | MessengerQueueLagGrowing firing через 96.7 s после остановки worker, resolved через 10.6 s после запуска; MessengerHighErrorRate firing через 98.4 s, resolved через 18.3 s после снятия блокировки |
evidence/obs/incident-*.json |
| Collector: memory limiter/batch, ограниченный буфер; остановка backend не ломает сообщения и RAM | backend-down |
Tempo и Loki остановлены на 155 s под нагрузкой: 0 ошибок из 100015 запросов; Collector ≤ 108.4 MiB (лимит 256); очередь экспортёров ≤ 40 из 40; потери посчитаны: 4204 spans и 2843 записей логов не доставлены, 728158 spans не приняты в полную очередь; alert MessengerTelemetryExportFailing через 81.0 s; трассы снова в Tempo через 20.9 s после возврата; затем Collector остановлен на 40 s — API без ошибок (SDK отбрасывает по ограниченной очереди), пик памяти API ≤ 224.5 MiB (лимит 256) |
evidence/obs/backend-down.json |
| Разбор двух инцидентов | ниже | — | evidence/obs/incident-*.json |
Инциденты: поиск причины по сохранённым наблюдениям
Инцидент 1 — остановлен worker. Загружены 3 файла (202). Через 96.7 s — MessengerQueueLagGrowing firing. Диагностика без доступа к контейнерам (снимок в момент firing):
- Prometheus:
messenger_jobs_backlog{state="queued"}= 3, возраст старейшей job 91 s, скорость обработкиrate(messenger_jobs_processed_total[1m])= 0 — задания принимаются, но не обрабатываются; ошибок API нет. messenger_worker_capacity— 0 серий: ни одного живого worker (а не «worker медленный»).- Tempo: после остановки 3 producer spans relay и 0 consumer spans — сообщения публикуются, но никто не потребляет (broker и relay исправны).
- Loki: последние события worker — job.claimed, job.done, job.retry, worker.start; после остановки событий нет.
Вывод — worker не запущен. После запуска backlog обработан за 2.6 s, alert resolved через 10.6 s.
Инцидент 2 — БД «зависла» (LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 110 s при нагрузке 4 клиентов). MessengerHighErrorRate firing через 98.4 s (окно 1m сначала содержит успешные запросы до блокировки — поэтому обнаружение ≈ окно + for). В момент firing: доля 5xx 100%, p99 9.95 s, и только у маршрута /api/v1/chats/{chat_id}/messages; занято соединений пула API 4; /health/ready без 5xx. Трассы ошибок (Tempo, status_code >= 500): server span ≈ 5000 ms, самый длинный дочерний span — SQL INSERT 4978 ms (доля 100%) — время ушло в ожидание БД, а не в обработчик. Для сравнения медленный по другой причине запрос (загрузка 4 MiB): server span 77.38 ms, самый длинный SQL 2.2 ms, S3 68.0 ms — БД не причина. Логи ошибок (88) — только маршрут сообщений. Alert resolved через 18.3 s после снятия блокировки. За инцидент клиенты получили 88 ошибок из 15036 запросов.
Трек 1: цена наблюдаемости
Гипотеза
Полная трассировка (100%) заметно дороже по CPU API и объёму ingest, чем логи и метрики; head sampling 10% снижает стоимость почти до «телеметрии нет», но теряет ~90% ошибок и редких медленных запросов; tail sampling в Collector сохраняет все ошибки и медленные запросы при объёме хранения, близком к head 10%, — ценой CPU/памяти Collector, а не API.
Методика
student-tests/telemetry_cost.py. Одинаковая нагрузка: 4 клиента closed loop, POST сообщения, 45 s после прогрева 10 s; лимиты контейнеров неизменны (API 0.5 CPU / 256 MiB × 2, Collector 0.5 CPU / 256 MiB). В каждом прогоне два внедрённых инцидента LOCK TABLE messages по 6.5 s (на 12-й и 28-й секунде): запросы, попавшие в блокировку, частично завершаются 5xx по таймауту 5 s (ошибки), частично — успешно, но дольше 250 ms (редкие медленные). У каждого запроса свой X-Request-Id; после прогона по Tempo проверяется, сохранилась ли трасса каждой ошибки, каждого медленного запроса и случайной выборки 40 обычных. Ресурсы — cgroup контейнеров (cpu.stat, memory.peak), ingest — счётчики Collector/Tempo/Loki. 3 повтора, порядок конфигураций чередуется, приводятся медианы.
| Конфигурация | Что меняется |
|---|---|
| off | OTEL_SDK_DISABLED=true (stdout-логи остаются) |
| full | 100% трасс, Collector пропускает всё |
| head10 | parentbased_traceidratio 0.1 в SDK |
| tail | SDK 100%, Collector tail_sampling: все ERROR + ≥ 250 ms + 10% остальных (collector-tail.yaml) |
Результаты (медианы 3 прогонов; latency — вне окон инцидентов)
| off | full | head10 | tail | |
|---|---|---|---|---|
| Успешных RPS | 247.6 | 197.8 (-20%) | 234.3 (-5%) | 195.4 (-21%) |
| p50 / p95 / p99, ms | 10.06 / 20.22 / 31.5 | 12.26 / 27.91 / 46.15 | 10.38 / 21.88 / 34.23 | 12.45 / 27.68 / 41.48 |
| CPU API на запрос, ms | 1.282 | 1.875 (+46%) | 1.414 (+10%) | 1.905 (+49%) |
| Пик памяти реплики API, MiB | 13.1 | 22.4 | 21.3 | 22.3 |
| CPU / пик памяти Collector | 0.001 ядра / 30.1 MiB | 0.051 / 55.1 MiB | 0.014 / 55.9 MiB | 0.044 / 106.5 MiB |
| Spans принято / сохранено на 1000 запросов | 0 / 0 | 14019 / 14019 | 1398 / 1398 | 14016 / 1785 |
| Ingest Tempo / Loki, KiB на 1000 запросов | 0 / 0 | 4548 / 339 | 454 / 335 | 588 / 340 |
| Трассы ошибок сохранены | 0/24 | 24/24 | 2/24 | 24/24 |
| Трассы медленных сохранены | 0/24 | 24/24 | 2/24 | 24/24 |
| Выборка обычных сохранена | 0/120 | 120/120 | 14/120 | 13/120 |
Сырые данные каждого прогона — evidence/track1/telemetry_cost.json.
Выводы
- Цена полной трассировки на этом сервисе — в первую очередь CPU API: +46% CPU на запрос относительно «off» и -20% успешных RPS (closed loop: те же 4 клиента ждут более дорогие ответы — запросов за то же время меньше). Одна запись сообщения даёт ≈ 14 spans (server, pool.acquire, SQL, Redis) и ≈ 4.5 KiB в Tempo — трассы в 13 раз объёмнее логов.
- Head 10% возвращает почти всю цену (CPU +10%, ingest ≈ 10%), но решение принимается в начале запроса, когда исход неизвестен: сохранились лишь 2/24 трасс ошибок и 2/24 медленных — ровно то, ради чего трассы нужны при разборе инцидента.
- Tail (сбалансированная конфигурация) сохранил 24/24 ошибок и 24/24 медленных при объёме Tempo 588 KiB на 1000 запросов против 4548 у full (в 7.7 раза меньше). Цена: CPU API как у full (SDK по-прежнему создаёт и отправляет все spans), Collector держит буфер решений — пик памяти 106.5 MiB против 55.1 у full.
- Метрики от sampling не зависят: доля ошибок, p95/p99 и alerts считаются в SDK до sampling — во всех конфигурациях, кроме off, они точны; sampling влияет только на то, по каким запросам можно открыть трассу.
- Найденная ошибка конфигурации: при
decision_wait: 5stail терял трассы ошибок длительностью 5 s (решение раньше прихода корневого span, прогон https://github.com/CharaWein/2026_lab3/actions/runs/43191617128: 23/24); итоговая конфигурация — 10 s.
Рекомендация: tail sampling в Collector (ошибки + медленные + небольшая доля остальных) при decision_wait больше максимальной длительности запроса; если CPU API критичнее — head-sampling малой доли плюс метрики и логи для ошибок (логи сохраняют trace_id даже для не-сэмплированных запросов).
Ограничения трека
- Один runner 2 vCPU, closed loop с координированным пропуском; абсолютные RPS зависят от машины, сравнение — в одинаковых условиях одного прогона.
- «Медленные» здесь — следствие блокировки БД; естественно редкие медленные запросы распределены иначе. Ошибок и медленных по 24 на конфигурацию — доли сохранения грубые (±1 трасса).
- Tail sampling на одном Collector; при нескольких Collector нужен балансировщик по trace_id (loadbalancing exporter) — не проверялось.
- Объём Prometheus от sampling не зависит и в таблицу не вынесен (метрики считаются в SDK).
Эксперименты и отказы
| Воздействие | Ожидание | Наблюдение | Восстановление / потери |
|---|---|---|---|
| Остановка worker | alert queue lag | firing через 96.7 s | resolved через 10.6 s после запуска; задачи не потеряны |
| Блокировка таблицы messages 110 s | alert error rate; трасса указывает на БД | firing через 98.4 s; самый длинный span — SQL | resolved через 18.3 s |
| S3 недоступен при обработке | retry видны в трассе | попытки 1–3 retry, 4 done в одной трассе | ready |
| Tempo + Loki остановлены 155 s | API работает, память ограничена | 0 ошибок API, Collector ≤ 108.4 MiB | трассы через 20.9 s; трассы/логи периода отказа потеряны (счётчики) |
| Collector остановлен 40 s | API работает | 0 ошибок, API ≤ 224.5 MiB | телеметрия периода потеряна (SDK) |
| Остановка API-реплики под нагрузкой | 0 ошибок | 0 из 16801 | — |
| Rolling update | 0 ошибок | 0 из 29983, p99 65.137 ms | — |
Ограничения и следующие шаги
- Память контейнеров в
backend-down—memory.currentcgroup (включает page cache), поэтому у API она близка к лимиту при полной нагрузке; OOM-kill ни у одного контейнера не было (evidence/containers_state_*.txt). - Телеметрия внутри доверенной сети по HTTP без аутентификации (TLS/mTLS — lab7). Grafana на 127.0.0.1 с паролем администратора.
- Один экземпляр Collector и каждого хранилища: их отказ — потеря телеметрии за период (посчитана, но не восстанавливается); persistent queue Collector не включалась.
- Алерты без доставки наружу (по заданию); burn-rate по нескольким окнам — следующий шаг (трек 2 не выбирался).
messenger.jobs.oldest_ageи backlog считаются запросом к PostgreSQL каждые 5 s — при больших таблицах нужен индекс (добавленjobs_open_idx) или учёт в самом relay.