Files
mtusi2026lab6/REPORT.md
T

30 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор, группа: Вейнмайер Андрей Андреевич, БВТ2303
  • Целевая оценка: 5 (уровни 3, 4 и трек 1 «Цена наблюдаемости»)
  • Commit/PR: ветка solution/bvt2303-weinmaier в https://gitea.privcloud.tech/Weinmaier_Andrew/mtusi2026lab6 (PR не открывался)
  • Основа: собственная lab5 (PR mtusi2026/mtusi2026lab5#35) — RabbitMQ, outbox, worker, versioned pipeline; через неё lab3–4
  • Использованные источники:
    • Контракт: contracts/observability.md, contracts/README.md
    • Библиотеки: go.opentelemetry.io/otel v1.47 (SDK traces/metrics/logs, OTLP/HTTP exporters), contrib: otelslog, otelhttp, runtime, host; github.com/exaring/otelpgx; go-redis/extra/redisotel
    • Документация: OpenTelemetry Collector (receivers/processors/exporters, memory_limiter, exporterhelper sending_queue, tail_sampling), W3C Trace Context, Prometheus histograms, Loki OTLP ingestion, Tempo TraceQL, Grafana provisioning
    • Помощь ИИ: ИИ-ассистент использовался при реализации и отладке; все результаты ниже — реальные прогоны, ссылки на них приведены.

Запуск из чистого clone

Роль Сервис Образ Хранение
Collector otel-collector otel/opentelemetry-collector-contrib:0.116.1 — (не БД: только приём, обработка, экспорт)
Метрики + alerts prometheus prom/prometheus:v3.1.0 volume prometheus_data, 7 дней
Логи loki grafana/loki:3.3.2 volume loki_data, 7 дней
Трассы tempo (+ tempo-init) grafana/tempo:2.6.1 volume tempo_data, 7 дней
Интерфейс grafana grafana/grafana:11.4.0 volume grafana_data (только состояние Grafana)

Остальное — как в lab5 (HAProxy, 2 × API, PostgreSQL, Redis, MinIO, RabbitMQ, relay, worker, reconciler). Digest всех образов — evidence/images.txt.

sh scripts/init-secrets.sh                            # .env и secrets/ (в т.ч. пароль admin Grafana; значения не печатаются)
docker compose --env-file .env up -d --build --wait   # стенд + Collector, Prometheus, Loki, Tempo, Grafana (provisioning из Git)
make test                                             # публичный smoke lab6
python3 student-tests/observability_ops.py signals    # сигналы, сквозная трасса, утечки, dashboard (и retry-trace, incident-worker,
                                                      # incident-db, backend-down)
python3 student-tests/telemetry_cost.py --rounds 3    # трек 1
sh scripts/collect-evidence.sh all                    # все доказательства в evidence/

Grafana: http://127.0.0.1:3000 (HTTPS — в lab7), пользователь admin, пароль — secrets/grafana_admin_password; dashboard «Messenger — API, worker, очередь» и три источника появляются без ручных действий. Prometheus UI — 127.0.0.1:9090. Остановка: docker compose stop; удаление учебных данных вместе с телеметрией: docker compose down -v.

Где запускался стенд

Docker-проверки — на GitHub-hosted runner (2 vCPU, 8 GB, Docker 28.0.4, Compose v2.38.2) workflow .github/workflows/lab6-stand.yml: Go-тесты и пять независимых стендов (base, files, pipeline, obs, track1). Итоговый прогон: https://github.com/CharaWein/2026_lab3/actions/runs/43208190207 (commit d90aef7). Все файлы evidence/ — из него.

Архитектура и решения

api ×2 / relay / worker ── OTLP/HTTP :4318 ──► otel-collector ──► otlp/tempo ──► Tempo  (traces)
   (SDK: BatchSpanProcessor,                      memory_limiter  ──► otlphttp ───► Loki   (logs, /otlp)
    PeriodicReader 5s, slog→otelslog)             batch, scrub    ──► prometheus :8889 ◄── Prometheus (pull 5s)
                                                                                         ├─ rules (SLI, alerts)
                                                                Grafana ◄──── datasources (provisioning) ┘
  • Почему три хранилища. Prometheus — временные ряды (счётчики, histogram, alert rules), Loki — события (структурные логи, индекс только по меткам потока, атрибуты — structured metadata), Tempo — причинность одного запроса/задания (span-дерево по trace_id). Collector хранит только очереди в памяти; Grafana — интерфейс и связи между источниками (exemplar → трасса, лог trace_id → трасса, трасса → логи).
  • SDK (internal/telemetry): ресурс service.name (messenger-api / messenger-worker / messenger-relay), service.version, service.instance.id (= X-Instance-Id), deployment.environment.name=lab. Логи пишутся в stdout (JSON с trace_id/span_id) и через мост otelslog в Collector. OTEL_SDK_DISABLED=true выключает экспорт; sampler — стандартные OTEL_TRACES_SAMPLER(_ARG).
  • HTTP (middleware/telemetry.go): server span METHOD /шаблон, метрика http.server.request.duration (секунды, buckets 2 ms…30 s); её _count — счётчик запросов (одна метрика, не две). Метки: метод, http.route (шаблон ServeMux), код и класс ответа. /health/* метрики пишет, трасс нет. Ответ несёт traceresponse (W3C).
  • Зависимости: otelpgx — spans SQL (текст с плейсхолдерами, без значений) и ожидания пула (pool.acquire), метрики pgxpool_*; otelhttp вокруг minio-go — spans S3 GET/PUT; redisotel — spans команд без аргументов.
  • Очередь (W3C через outbox и AMQP, 0006_telemetry.up.sql): upload пишет traceparent активного span в outbox.trace_context (и jobs.trace_context); relay создаёт producer span attachment.process publish дочерним к нему и кладёт его контекст в заголовки AMQP; worker — consumer span attachment.process process дочерний к producer. Повтор пишет в outbox контекст неудачной попытки — вся цепочка retry в одной трассе; sweeper (без своего span) берёт контекст исходного upload из jobs.
  • Worker-метрики: messenger.jobs.processed{job.type,outcome}, messenger.job.duration (histogram), messenger.attachment.time_to_ready (от создания job при 202 до ready), messenger.worker.busy / messenger.worker.capacity (saturation). Очередь (relay, по PostgreSQL — источнику истины): messenger.jobs.backlog{state}, messenger.jobs.oldest_age (s), messenger.outbox.pending, messenger.outbox.oldest_age; плюс глубина очередей RabbitMQ (rabbitmq_queue_messages_ready).
  • Фоновые циклы relay (опрос outbox каждые 300 ms, sweeper, gauges) идут под не-сэмплированным контекстом — иначе каждый опрос был бы отдельной трассой.

Соответствие контракту наблюдаемости (имена в Prometheus — после трансляции OTel → Prometheus в exporter Collector; полный список — evidence/obs/prometheus_state.json):

Сигнал контракта Имя Метки
HTTP requests http_server_request_duration_seconds_count http_request_method, http_route, http_response_status_code, http_response_status_class, job, instance
HTTP duration http_server_request_duration_seconds_bucket (s) те же
Jobs processed / failed messenger_jobs_processed_total job_type, outcome (done, retry, failed, duplicate, not_due, requeue…)
Job duration messenger_job_duration_seconds_bucket job_type, outcome
Логи Loki: {service_name=…}, structured metadata event, trace_id, span_id, severity_text, request_id, route, status —
Traces Tempo: server / producer / consumer / client spans —
Queue depth / oldest age messenger_jobs_backlog, messenger_jobs_oldest_age_seconds, rabbitmq_queue_messages_ready state, queue
Pool / saturation pgxpool_acquired_connections, pgxpool_max_connections, pgxpool_empty_acquire_total; messenger_worker_busy / messenger_worker_capacity; process_cpu_time_seconds_total, go_memory_used_bytes job, instance
Сквозная связь traceparent в outbox и заголовках AMQP, parent-child —
Time to ready messenger_attachment_time_to_ready_seconds_bucket job_type

Error ratio: числитель — запросы с http_response_status_class="5xx", знаменатель — все запросы, кроме /health/*; 4xx (неверный пароль, чужой чат) — ошибки клиента, в SLO не входят. p95/p99 — histogram_quantile по sum by (le) buckets всех реплик (никакого усреднения p99 реплик).

SLI/SLO (rules/messenger.yml, окно SLO — 28 дней, на стенде видны короткие окна): доступность API ≥ 99.5% бизнес-запросов без 5xx; задержка — ≥ 95% быстрее 250 ms; время до ready — ≥ 95% быстрее 30 s. Alerts (состояние firing/resolved — в Prometheus и на dashboard как аннотации; runbooks — infra/RUNBOOKS.md): MessengerHighErrorRate (5xx > 5% за 1m, 30 s), MessengerQueueLagGrowing (старейшая job > 60 s, 30 s), MessengerWorkerAbsent, MessengerTelemetryExportFailing.

Ограниченная буферизация: SDK — очередь BatchSpanProcessor 4096 spans, логов 4096 (переполнение — отбрасывание); Collector — memory_limiter 200 MiB (spike 50) первым в pipeline, sending_queue 20 пакетов × ≤ 1024 элементов и retry_on_failure ≤ 60 s на экспортёр (Tempo, Loki), лимит контейнера 256 MiB; метрики не буферизуются (Prometheus pull, metric_expiration 1m).

Исправления, найденные прогонами

Что показал прогон Причина Исправление
API не стартовал (прогон 1) конфликт schema URL ресурса: semconv 1.40 vs 1.43 в SDK semconv 1.43 + unit-тест Setup с настоящими экспортёрами
alert MessengerTelemetryExportFailing и панели Collector без данных внутренние метрики Collector 0.116 без суффикса _total запросы {__name__=~"otelcol_…(_total)?"}
tail sampling терял 1 из 24 ошибок (прогон 3) decision_wait: 5s ≤ длительности трассы ошибки (таймаут обработчика 5 s): решение до прихода корневого span со статусом ERROR decision_wait: 10s; в итоговом прогоне потерь ошибок нет
после отказа Tempo новые трассы не появлялись (прогоны 4–5) очередь экспорта 200 пакетов × до 2048 spans упёрлась в hard limit memory_limiter — Collector отвергал новые данные; в Tempo single-binary querier без явного адреса frontend очередь 20 × 1024 (помещается в soft limit), querier.frontend_worker.frontend_address; поиск трассы — по ID из traceresponse
Tempo/Loki перезапускались под нагрузкой трека 1 (прогон 5) лимит 512 MiB при ~14 тыс. spans на 1000 запросов 1 GiB; в доказательства добавлено состояние контейнеров (containers_state_*.txt: restarts, OOMKilled)

Доказательства критериев

Уровень 3

Критерий Сценарий Результат Файл
Минимум lab5 работает smoke, регрессии, failover ×2, persistence (перезапуск включает стек наблюдаемости), сценарии pipeline все PASS; failover — восстановление записи 3.535 / 3.478 s; demo: ready через 2.6 s evidence/smoke.txt, failover_.txt, persistence.txt, pipeline/.json
Collector, 3 хранилища, Grafana в стенде; конфиги и provisioning в Git; volumes compose.yaml, infra/ datasources из provisioning: loki:loki, prometheus:prometheus, tempo:tempo; dashboard «Messenger — API, worker, очередь» (30 панелей) evidence/obs/signals.json
API и worker → OTLP; RPS/errors/duration API, jobs и duration worker, логи, трассы observability_ops.py signals все сигналы контракта найдены в Prometheus (число серий в signals.json); трассы трёх сервисов; логи с trace_id evidence/obs/signals.json, prometheus_state.json
Импортируемый dashboard, не скриншот provisioning + проверка запросов 39 запросов панелей выполнены через Grafana без ошибок; без данных в момент проверки: 2 (окно 5m без загрузок, нет 4xx) infra/grafana/dashboards/messenger.json, evidence/obs/dashboard.png
Низкая кардинальность, trace/span ID в логах, без секретов проверка меток и поиск утечек запрещённых меток (user_id, chat_id, message_id, attachment_id, request_id, url, filename…) нет; http_route — только шаблоны (8 значений); пароль, токен, текст сообщения, заголовок Bearer: 0 вхождений в Loki, Tempo и stdout evidence/obs/signals.json
Контролируемый запрос → trace → лог; job → worker trace и лог signals запрос obs-msg-249e829f8c1e4049 → trace c275fd38f588c08d29aea802ac7c9c83 → лог API event=http.request, route=/api/v1/chats/{chat_id}/messages, тот же trace_id/span_id; upload → trace cf8628e62914dd27bef25fbfca80ba11 с логами worker job.claimed, job.done evidence/obs/signals.json
make test при включённой телеметрии smoke PASS evidence/smoke.txt

Уровень 4

Критерий Сценарий Результат Файл
W3C context API → broker → worker; producer/consumer; цепочка до S3/DB, включая retry signals, retry-trace одна трасса upload: messenger-api, messenger-relay, messenger-worker, 65 spans; связи parent-child: API server → relay producer → worker consumer → image.decode, S3 PUT, SQL (BEGIN, COMMIT, INSERT, SELECT, UPDATE…). Retry при остановленном S3: попытки 1=retry, 2=retry, 3=retry, 4=done в той же трассе, 4 producer spans evidence/obs/signals.json, retry-trace.json
p50/p95/p99, доля ошибок, queue depth/возраст, DB pool, saturation; запросы и единицы dashboard панели с histogram_quantile по buckets, единицы (s, %, req/s, bytes) в JSON infra/grafana/dashboards/messenger.json
SLI/SLO и окно; alert rules high error rate и queue lag, проверены отказом инциденты 1 и 2 MessengerQueueLagGrowing firing через 96.7 s после остановки worker, resolved через 10.6 s после запуска; MessengerHighErrorRate firing через 98.4 s, resolved через 18.3 s после снятия блокировки evidence/obs/incident-*.json
Collector: memory limiter/batch, ограниченный буфер; остановка backend не ломает сообщения и RAM backend-down Tempo и Loki остановлены на 155 s под нагрузкой: 0 ошибок из 100015 запросов; Collector ≤ 108.4 MiB (лимит 256); очередь экспортёров ≤ 40 из 40; потери посчитаны: 4204 spans и 2843 записей логов не доставлены, 728158 spans не приняты в полную очередь; alert MessengerTelemetryExportFailing через 81.0 s; трассы снова в Tempo через 20.9 s после возврата; затем Collector остановлен на 40 s — API без ошибок (SDK отбрасывает по ограниченной очереди), пик памяти API ≤ 224.5 MiB (лимит 256) evidence/obs/backend-down.json
Разбор двух инцидентов ниже — evidence/obs/incident-*.json

Инциденты: поиск причины по сохранённым наблюдениям

Инцидент 1 — остановлен worker. Загружены 3 файла (202). Через 96.7 s — MessengerQueueLagGrowing firing. Диагностика без доступа к контейнерам (снимок в момент firing):

  1. Prometheus: messenger_jobs_backlog{state="queued"} = 3, возраст старейшей job 91 s, скорость обработки rate(messenger_jobs_processed_total[1m]) = 0 — задания принимаются, но не обрабатываются; ошибок API нет.
  2. messenger_worker_capacity — 0 серий: ни одного живого worker (а не «worker медленный»).
  3. Tempo: после остановки 3 producer spans relay и 0 consumer spans — сообщения публикуются, но никто не потребляет (broker и relay исправны).
  4. Loki: последние события worker — job.claimed, job.done, job.retry, worker.start; после остановки событий нет.

Вывод — worker не запущен. После запуска backlog обработан за 2.6 s, alert resolved через 10.6 s.

Инцидент 2 — БД «зависла» (LOCK TABLE messages IN ACCESS EXCLUSIVE MODE на 110 s при нагрузке 4 клиентов). MessengerHighErrorRate firing через 98.4 s (окно 1m сначала содержит успешные запросы до блокировки — поэтому обнаружение ≈ окно + for). В момент firing: доля 5xx 100%, p99 9.95 s, и только у маршрута /api/v1/chats/{chat_id}/messages; занято соединений пула API 4; /health/ready без 5xx. Трассы ошибок (Tempo, status_code >= 500): server span ≈ 5000 ms, самый длинный дочерний span — SQL INSERT 4978 ms (доля 100%) — время ушло в ожидание БД, а не в обработчик. Для сравнения медленный по другой причине запрос (загрузка 4 MiB): server span 77.38 ms, самый длинный SQL 2.2 ms, S3 68.0 ms — БД не причина. Логи ошибок (88) — только маршрут сообщений. Alert resolved через 18.3 s после снятия блокировки. За инцидент клиенты получили 88 ошибок из 15036 запросов.

Трек 1: цена наблюдаемости

Гипотеза

Полная трассировка (100%) заметно дороже по CPU API и объёму ingest, чем логи и метрики; head sampling 10% снижает стоимость почти до «телеметрии нет», но теряет ~90% ошибок и редких медленных запросов; tail sampling в Collector сохраняет все ошибки и медленные запросы при объёме хранения, близком к head 10%, — ценой CPU/памяти Collector, а не API.

Методика

student-tests/telemetry_cost.py. Одинаковая нагрузка: 4 клиента closed loop, POST сообщения, 45 s после прогрева 10 s; лимиты контейнеров неизменны (API 0.5 CPU / 256 MiB × 2, Collector 0.5 CPU / 256 MiB). В каждом прогоне два внедрённых инцидента LOCK TABLE messages по 6.5 s (на 12-й и 28-й секунде): запросы, попавшие в блокировку, частично завершаются 5xx по таймауту 5 s (ошибки), частично — успешно, но дольше 250 ms (редкие медленные). У каждого запроса свой X-Request-Id; после прогона по Tempo проверяется, сохранилась ли трасса каждой ошибки, каждого медленного запроса и случайной выборки 40 обычных. Ресурсы — cgroup контейнеров (cpu.stat, memory.peak), ingest — счётчики Collector/Tempo/Loki. 3 повтора, порядок конфигураций чередуется, приводятся медианы.

Конфигурация Что меняется
off OTEL_SDK_DISABLED=true (stdout-логи остаются)
full 100% трасс, Collector пропускает всё
head10 parentbased_traceidratio 0.1 в SDK
tail SDK 100%, Collector tail_sampling: все ERROR + ≥ 250 ms + 10% остальных (collector-tail.yaml)

Результаты (медианы 3 прогонов; latency — вне окон инцидентов)

off full head10 tail
Успешных RPS 247.6 197.8 (-20%) 234.3 (-5%) 195.4 (-21%)
p50 / p95 / p99, ms 10.06 / 20.22 / 31.5 12.26 / 27.91 / 46.15 10.38 / 21.88 / 34.23 12.45 / 27.68 / 41.48
CPU API на запрос, ms 1.282 1.875 (+46%) 1.414 (+10%) 1.905 (+49%)
Пик памяти реплики API, MiB 13.1 22.4 21.3 22.3
CPU / пик памяти Collector 0.001 ядра / 30.1 MiB 0.051 / 55.1 MiB 0.014 / 55.9 MiB 0.044 / 106.5 MiB
Spans принято / сохранено на 1000 запросов 0 / 0 14019 / 14019 1398 / 1398 14016 / 1785
Ingest Tempo / Loki, KiB на 1000 запросов 0 / 0 4548 / 339 454 / 335 588 / 340
Трассы ошибок сохранены 0/24 24/24 2/24 24/24
Трассы медленных сохранены 0/24 24/24 2/24 24/24
Выборка обычных сохранена 0/120 120/120 14/120 13/120

Сырые данные каждого прогона — evidence/track1/telemetry_cost.json.

Выводы

  • Цена полной трассировки на этом сервисе — в первую очередь CPU API: +46% CPU на запрос относительно «off» и -20% успешных RPS (closed loop: те же 4 клиента ждут более дорогие ответы — запросов за то же время меньше). Одна запись сообщения даёт ≈ 14 spans (server, pool.acquire, SQL, Redis) и ≈ 4.5 KiB в Tempo — трассы в 13 раз объёмнее логов.
  • Head 10% возвращает почти всю цену (CPU +10%, ingest ≈ 10%), но решение принимается в начале запроса, когда исход неизвестен: сохранились лишь 2/24 трасс ошибок и 2/24 медленных — ровно то, ради чего трассы нужны при разборе инцидента.
  • Tail (сбалансированная конфигурация) сохранил 24/24 ошибок и 24/24 медленных при объёме Tempo 588 KiB на 1000 запросов против 4548 у full (в 7.7 раза меньше). Цена: CPU API как у full (SDK по-прежнему создаёт и отправляет все spans), Collector держит буфер решений — пик памяти 106.5 MiB против 55.1 у full.
  • Метрики от sampling не зависят: доля ошибок, p95/p99 и alerts считаются в SDK до sampling — во всех конфигурациях, кроме off, они точны; sampling влияет только на то, по каким запросам можно открыть трассу.
  • Найденная ошибка конфигурации: при decision_wait: 5s tail терял трассы ошибок длительностью 5 s (решение раньше прихода корневого span, прогон https://github.com/CharaWein/2026_lab3/actions/runs/43191617128: 23/24); итоговая конфигурация — 10 s.

Рекомендация: tail sampling в Collector (ошибки + медленные + небольшая доля остальных) при decision_wait больше максимальной длительности запроса; если CPU API критичнее — head-sampling малой доли плюс метрики и логи для ошибок (логи сохраняют trace_id даже для не-сэмплированных запросов).

Ограничения трека

  • Один runner 2 vCPU, closed loop с координированным пропуском; абсолютные RPS зависят от машины, сравнение — в одинаковых условиях одного прогона.
  • «Медленные» здесь — следствие блокировки БД; естественно редкие медленные запросы распределены иначе. Ошибок и медленных по 24 на конфигурацию — доли сохранения грубые (±1 трасса).
  • Tail sampling на одном Collector; при нескольких Collector нужен балансировщик по trace_id (loadbalancing exporter) — не проверялось.
  • Объём Prometheus от sampling не зависит и в таблицу не вынесен (метрики считаются в SDK).

Эксперименты и отказы

Воздействие Ожидание Наблюдение Восстановление / потери
Остановка worker alert queue lag firing через 96.7 s resolved через 10.6 s после запуска; задачи не потеряны
Блокировка таблицы messages 110 s alert error rate; трасса указывает на БД firing через 98.4 s; самый длинный span — SQL resolved через 18.3 s
S3 недоступен при обработке retry видны в трассе попытки 1–3 retry, 4 done в одной трассе ready
Tempo + Loki остановлены 155 s API работает, память ограничена 0 ошибок API, Collector ≤ 108.4 MiB трассы через 20.9 s; трассы/логи периода отказа потеряны (счётчики)
Collector остановлен 40 s API работает 0 ошибок, API ≤ 224.5 MiB телеметрия периода потеряна (SDK)
Остановка API-реплики под нагрузкой 0 ошибок 0 из 16801 —
Rolling update 0 ошибок 0 из 29983, p99 65.137 ms —

Ограничения и следующие шаги

  • Память контейнеров в backend-down — memory.current cgroup (включает page cache), поэтому у API она близка к лимиту при полной нагрузке; OOM-kill ни у одного контейнера не было (evidence/containers_state_*.txt).
  • Телеметрия внутри доверенной сети по HTTP без аутентификации (TLS/mTLS — lab7). Grafana на 127.0.0.1 с паролем администратора.
  • Один экземпляр Collector и каждого хранилища: их отказ — потеря телеметрии за период (посчитана, но не восстанавливается); persistent queue Collector не включалась.
  • Алерты без доставки наружу (по заданию); burn-rate по нескольким окнам — следующий шаг (трек 2 не выбирался).
  • messenger.jobs.oldest_age и backlog считаются запросом к PostgreSQL каждые 5 s — при больших таблицах нужен индекс (добавлен jobs_open_idx) или учёт в самом relay.