Files
mtusi2026lab6/REPORT.md
2026-11-16 18:47:37 +03:00

53 KiB
Raw Permalink Blame History

Отчёт — лабораторная 6

  • Автор, группа: Никитин Андрей Александрович, БВТ2301
  • Целевая оценка; выбранный трек 5, если нужен: 5; Track 1 — цена наблюдаемости.
  • Commit/PR: реализация находится в рабочем дереве; отдельный commit/PR ещё не опубликован. Baseline шаблона: 470d9d6f1e4fe4f594e37c2ba59550ee5ca54fc1.
  • Использованные источники, библиотеки и помощь ИИ: README и контракты курса; первичная документация OpenTelemetry, W3C Trace Context и Grafana; opentelemetry-cpp, minio-cpp, libpqxx, hiredis, libsodium, nlohmann/json, libexif, libwebp и stb. Помощь ИИ: Codex — реализация инструментации, конфигурации, скрипты проверок/бенчмарка и оформление отчёта. Версии и ссылки приведены ниже.

Запуск из чистого clone

Требуются Linux amd64, Docker Engine с Compose v2+, Python 3.9+ и доступ к Ubuntu/GitHub/registry при первой сборке. Приложения собираются как C++17; компилятор, CMake и native-зависимости устанавливаются внутри Dockerfile. Прежние готовые API-образы lab5 не требуются.

Компонент Закреплённая версия
Build/runtime OS Ubuntu 24.04
OpenTelemetry C++ / MinIO C++ / libpqxx v1.21.0 / v0.3.0 / 7.10.0
PostgreSQL / Valkey / Nginx 16.15-alpine / 8.1.10-alpine / 1.28.0-alpine
MinIO / mc RELEASE.2025-04-22T22-12-26Z / RELEASE.2025-04-16T18-13-26Z
Collector Contrib / Prometheus 0.119.0 / 3.2.1
Loki / Tempo / Grafana 3.4.2 / 2.7.2 / 11.6.0
python3 scripts/bootstrap-local.py
docker compose config --quiet
docker compose up -d --build
# Дождаться HTTP 200:
curl -fsS http://localhost:8080/health/ready
make check
make test
make test-observability
make test-incidents

Grafana: http://localhost:3000/d/messenger-observability, пользователь admin, пароль в локальном secrets/grafana_admin_password. Dashboard: папка Messenger. Prometheus: http://localhost:9090, alerts http://localhost:9090/alerts. В Grafana Explore выбрать Tempo, найти trace, перейти к Loki logs; либо выбрать Loki {service_name="messenger-worker"} и фильтровать по trace_id. API → HTTP → worker → S3/DB проверяется student-tests/observability.py.

API_PORT, GRAFANA_PORT, PROMETHEUS_PORT настраиваются в .env; при их изменении URL тестов задаются параметрами соответствующих Python scripts. OTEL_SDK_DISABLED=true docker compose up -d --force-recreate api worker отключает SDK для сравнения; бизнес-процессы продолжают работать.

Если в окружении Docker Snap команда docker compose не найдена, используйте установленный CLI plugin напрямую: make test-observability COMPOSE=/path/to/docker-compose.

Первый запуск требует действий оператора: запустить bootstrap, выполнить build/up, дождаться HTTP 200 readiness и затем запустить проверки. Bootstrap создаёт .env и secrets/ со случайными учебными credentials без вывода значений. Если они уже существуют, скрипт сохраняет их и завершает работу: для повторного запуска достаточно docker compose up -d. Секреты в отчёт и evidence не включаются.

API и Worker применяют SQL-миграции автоматически под PostgreSQL advisory lock. Сервисы minio-init и minio-user-init идемпотентно создают приватный bucket, policy и ограниченного S3 пользователя; Worker создаёт Redis consumer group. Grafana автоматически загружает datasources/dashboard. Ручное выполнение SQL и ручной импорт dashboard не требуются.

Безопасная остановка с сохранением named volumes:

docker compose down

Намеренное удаление всех учебных данных этого Compose-проекта: БД, Redis, MinIO, Prometheus, Loki, Tempo и состояния Grafana. Ниже приведена только инструкция; в рамках работы эта команда не выполнялась:

# Только для осознанного сброса собственного учебного стенда:
docker compose down --volumes

Локальные .env и secrets/ эта команда не удаляет.

Архитектура и решения

Основа и границы изменений

В исходном lab6 был skeleton без C++ приложения, CMakeLists.txt и рабочего compose.yaml. В этот репозиторий перенесены исходники lab5 из соседнего checkout (commit 580b33efe867d348285785bcccd63681ec7ae962), миграции, MinIO bootstrap, Nginx, инструменты проверки изображений и vendored stb. Соседний lab5 не изменён.

Сохранены API, авторизация/сессии, схемы БД, Redis Streams, transactional outbox, retry/backoff, дедупликация, ACK после durable результата, проверка изображений, MinIO original/variants и direct-upload расширение lab5. Изменения в job payload: только предусмотренные контрактом optional поля traceparent/tracestate. Когда SDK отключён, отсутствующий traceparent не записывается как пустая строка.

Процессы, хранилища и версии SDK

flowchart LR
  API[API x2 / opentelemetry-cpp] -->|OTLP HTTP protobuf :4318| C[OTel Collector]
  W[Worker / opentelemetry-cpp] -->|OTLP HTTP protobuf :4318| C
  API --> O[PostgreSQL outbox + W3C context]
  O --> P[Publisher producer span]
  P --> R[Redis Stream / JSON + traceparent]
  R --> W
  C -->|Prometheus exporter :9464| M[Prometheus / 7 days]
  C -->|OTLP HTTP /otlp/v1/logs| L[Loki / 7 days]
  C -->|OTLP HTTP /v1/traces| T[Tempo / 7 days]
  G[Grafana] --> M
  G --> L
  G --> T

API и worker инициализируют SDK в своих main(). В каждом процессе отдельные TracerProvider, MeterProvider, LoggerProvider, resource attributes: service.name=messenger-api|messenger-worker, service.version=lab6-1.0, service.instance.id=<hostname контейнера>, deployment.environment.name=lab. Instrumentation scope messenger, version 1.0. Используются имена OTel HTTP/messaging и локальные документированные метрики worker/queue/pool; это не заявление о полном соответствии всем экспериментальным semantic conventions конкретного schema URL.

SDK закреплён на opentelemetry-cpp v1.21.0 (commit b9cf499ff5715433848b316059714b5c59af1f2c), ABI 1. Экспортер только OTLP HTTP/protobuf: WITH_OTLP_HTTP=ON, WITH_OTLP_GRPC=OFF. Collector Contrib 0.119.0, Prometheus 3.2.1, Loki 3.4.2, Tempo 2.7.2, Grafana 11.6.0. PostgreSQL 16.15, Valkey 8.1.10, Nginx 1.28.0; MinIO RELEASE.2025-04-22T22-12-26Z, mc RELEASE.2025-04-16T18-13-26Z. Теги и конфиги закреплены в Compose. Loki использует native OTLP endpoint, а не удалённый Loki exporter. Collector не является долговременным хранилищем; Grafana строит запросы и визуализирует данные хранилищ. Все четыре хранилища состояния telemetry имеют отдельные named volumes.

Источник истины и транзакционные границы

PostgreSQL — источник истины для пользователей, чатов, сообщений, вложений, состояний jobs и durable outbox; MinIO хранит бинарные оригиналы/варианты. Valkey используется для Redis Streams и, при SESSION_STORE=redis, сессий; в проверенной .env выбран SESSION_STORE=postgres. Брокер доставляет задания, а не заменяет durable состояние job в PostgreSQL.

Создание job и outbox записи выполняется в одной PostgreSQL-транзакции. Publisher отмечает outbox published после XADD; повторная доставка допускается. Worker сохраняет durable результат/следующую попытку до ACK. Публикация ссылки на готовые S3-объекты и статуса ready происходит транзакционно в БД. Эти правила lab5 сохранены; telemetry не участвует в принятии бизнес-решений.

Соответствие .env.example конфигурации

Переменные Реальное применение
POSTGRES_USER, POSTGRES_PASSWORD, POSTGRES_DB Bootstrap PostgreSQL; secrets/database_url должен содержать согласованный connection string. Генератор создаёт согласованные значения.
DATABASE_URL_FILE, CACHE_URL_FILE, BROKER_URL_FILE, S3 *_FILE Compose монтирует file secrets в /run/secrets; entrypoint переносит их в /tmp/app-secrets для uid 10001. Worker и API используют один Redis/Valkey endpoint.
SESSION_STORE, SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS Выбор хранилища/TTL сессий и идемпотентности API.
API_REPLICAS, API_PORT Число API-реплик и внешний порт lb; APP_HOST/APP_PORT внутри Compose фиксированы как 0.0.0.0:8080.
S3_ENDPOINT, S3_REGION, S3_BUCKET, MinIO credentials Endpoint/bucket приложения и идемпотентный S3 bootstrap; приложения используют отдельного ограниченного пользователя.
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS, MAX_CONCURRENT_UPLOADS, DIRECT_UPLOAD_TTL_SECONDS Ограничения upload/image/direct-upload из lab5.
JOB_MAX_ATTEMPTS, JOB_RECLAIM_IDLE_MS, JOB_RETRY_BASE_MS, JOB_RETRY_MAX_MS, JOB_TIMEOUT_SECONDS Retry/reclaim/backoff и watchdog Worker.
STAGING_RETENTION_SECONDS, STAGING_CLEANUP_INTERVAL_SECONDS Очистка staging.
WORKER_CONCURRENCY=1 Описывает реализованный последовательный Worker; изменение этой переменной не включает дополнительные потоки. Метрика capacity равна 1.
OTEL_SDK_DISABLED Runtime on/off SDK в обоих приложениях.
OTEL_COLLECTOR_CONFIG Путь к Collector profile: по умолчанию 100%; для Track 1 используется отдельный 10% traces profile.
GRAFANA_ADMIN_USER, GRAFANA_PORT, PROMETHEUS_PORT Учётная запись Grafana и loopback-порты UI. Пароль Grafana читается из отдельного file secret.
APP_ENV В этом стенде окружение фиксировано как deployment.environment.name=lab; переменная не переключает ресурсные атрибуты.

OTLP endpoint задаётся Compose как http://otel-collector:4318; service.name и service.version — кодом инициализации SDK. Настройки HTTP/DB pool и CPU/RAM имеют дополнительные defaults в Compose; проверенные лимиты приведены в экспериментах.

Сквозная передача контекста

  1. После разбора заголовков API извлекает только W3C traceparent/tracestate через HttpTraceContext::Extract, создаёт SERVER span, активирует Scope. Невалидный traceparent не становится родителем. Baggage не переносится.
  2. enqueue_attachment_job() создаёт PRODUCER span attachment.enqueue и в той же транзакции, что и job, записывает текущие W3C поля в JSON outbox. Это существенно: позднее publisher работает в другом потоке и не имеет HTTP Scope.
  3. Publisher извлекает durable контекст из JSON, создаёт PRODUCER span jobs:attachments publish, подставляет его traceparent в публикуемый Redis JSON. Исходный durable payload остаётся неизменным, повторная публикация получает новый producer span с прежним причинным родителем.
  4. Worker извлекает контекст из полученного JSON и создаёт CONSUMER span attachment.process с родителем Redis producer. S3 операции и DB публикация ready — дочерние CLIENT spans. В спаны не записываются object keys и SQL-параметры.
  5. Если JobRepo планирует retry, enqueue_attachment_job() вызывается под текущим consumer Scope. Следующая попытка продолжает тот же trace через новый outbox producer; исходные правила retry/ACK не меняются.

Root sampling — always on, дочерние spans используют ParentBasedSampler и уважают sampled flag родителя. API и worker ведут реальные spans операций, а не фиксированные демонстрационные traces. Логи завершения HTTP и job получают тот же trace_id/span_id; HTTP request_id сохраняется отдельно и соответствует X-Request-Id, уникальность между репликами задаёт service.instance.id.

Сигналы и имена в Prometheus

SDK instrument Prometheus Единицы / смысл
http.server.requests http_server_requests_total бизнес-запросы; method, route template, status class
http.server.request.duration http_server_request_duration_seconds_bucket/count/sum секунды, включая чтение запроса
worker.jobs worker_jobs_total доставки; job.type, outcome
worker.job.duration worker_job_duration_seconds_bucket/count/sum секунды от consume до завершения обработки/ACK
attachment.ready.duration attachment_ready_duration_seconds_bucket/count/sum durable job creation → транзакция публикации ready
queue.depth queue_depth незавершённые durable jobs
queue.oldest.age queue_oldest_age возраст старейшей незавершённой job, секунды
queue.observation.timestamp queue_observation_timestamp Unix seconds последнего успешного наблюдения
db.pool.used/waiting/capacity db_pool_used/waiting/capacity занятые, ожидающие и все соединения PgPool процесса
worker.busy/capacity worker_busy/capacity активные задачи / 1 последовательный worker
process.cpu.time process_cpu_time user+system CPU seconds; rate = использованные ядра
process.memory.usage process_memory_usage текущий RSS bytes из /proc/self/statm
telemetry.sdk.errors telemetry_sdk_errors накопленные внутренние SDK warning/error diagnostics
telemetry.sdk.dropped.spans telemetry_sdk_dropped_spans накопленные предупреждения переполнения span batch queue

Health endpoints исключены из RPS/errors/duration и логов завершения запроса. Duration записывается и на ранних HTTP-ошибках; неподдержанные/неизвестные маршруты получают unmatched, неизвестные методы _OTHER. Идентификаторы и query strings не попадают в metric labels. Границы histogram в секундах: 0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10, 30, 60, 120.

Worker outcomes: success, failed, retry, busy, superseded. Это счётчик попыток доставки, а не unique jobs: повторное чтение ready job учитывается как ещё одна успешная доставка. retry означает неудачную попытку с durable перепланированием, failed — terminal failure/невалидная ссылка либо исключение, оставившее доставку pending. Не смешивайте эти категории с числом уникально опубликованных attachments.

Queue observer раз в 5 секунд читает jobs WHERE status IN ('queued','processing') по отдельному соединению PostgreSQL, только в API. max объединяет одинаковое наблюдение от двух реплик. Метрика включает отложенные retry и непубликованный outbox, не включает terminal jobs и историю ACKed stream entries. Это логический backlog, а не XLEN и не время обработки. При недоступной БД последнее значение может устареть — для этого есть timestamp, панель возраста наблюдения и alert. Соединение observer не входит в PgPool; фоновые outbox/cleaner PgPool входят.

Dashboard Messenger — Observability, UID messenger-observability, импортируется автоматически из infra/grafana/dashboards/messenger.json. Есть RPS, p50/p95/p99 HTTP/worker/time-to-ready, error ratio, queue depth/age, worker saturation, DB pools, CPU/RSS, диагностика Collector и связанные логи.

Пример percentile всех реплик:

histogram_quantile(0.95,
  sum by(le)(rate(http_server_request_duration_seconds_bucket[5m])))

Error ratio: 5xx / все бизнес-запросы. Ответы 4xx в numerator не входят. При отсутствии серии 5xx numerator равен нулю (or vector(0)). Worker saturation: sum(worker_busy) / clamp_min(sum(worker_capacity), 1). Histogram quantiles при отсутствии наблюдений дают NaN; dashboard не подменяет его средним или выдуманным percentile. OTLP Prometheus exporter может ещё хранить последние серии остановленного процесса до истечения настроенного expiration interval 20s (затем требуется ещё один scrape Prometheus).

SLI/SLO и alerts

Учебный availability SLI = 1 - 5xx / все бизнес-запросы, health исключён. Цель: ≥99% за скользящие 30 минут при ненулевом трафике. Практический сигнал быстрой диагностики: error ratio >5% за 1 минуту, for: 30s (ApiHighErrorRate). Это локальный диагностический alert, а не burn-rate модель production SLO.

QueueLagGrowing: oldest age >30s, depth >0, delta(age[1m]) >0, for: 30s. QueueObservationStale: наблюдение старше 30s или отсутствует, for: 30s. Все правила, пороги, окна и пояснения сохранены в infra/prometheus/alerts.yaml. Локальное состояние доступно в Prometheus /alerts; внешних уведомлений нет.

Отказоустойчивость и безопасность

SDK batch queues: максимум 1024 span records и 1024 log records на процесс, пачка 128, интервал 500ms, timeout HTTP 500ms, одна попытка экспорта. Экспорт выполняется в фоновых потоках SDK; периодический reader метрик — 5s, export timeout 1s. При недоступном Collector приложения продолжают работу, возможна потеря telemetry. Graceful shutdown ограничивает ожидание каждой из трёх providers двумя секундами.

Collector: memory_limiter первым процессором (192 MiB, spike 32 MiB, 1s), batch 256, max 512, timeout 1s. Очередь каждого backend exporter ограничена 256 batches, 2 consumers, HTTP timeout 2s, retry с backoff 1–5s, общий лимит 15s. Docker memory limit 256 MiB и GOMEMLIMIT 200MiB ограничивают процесс. API/worker не зависят через depends_on от Collector/Loki/Tempo/Grafana. При отказе backend сохраняются работа API/worker и экспорт метрик в Prometheus; Collector регистрирует ошибки/потери и после восстановления возобновляет экспорт.

Диагностика потерь: otelcol_exporter_send_failed_spans, otelcol_exporter_send_failed_log_records, otelcol_exporter_enqueue_failed_spans, otelcol_processor_refused_spans, telemetry_sdk_errors, telemetry_sdk_dropped_spans. Не складывайте эти значения как точное количество уникально потерянных spans: неуспешный экспорт может повторяться при retry. SDK 1.21 не сообщает отдельный точный счётчик переполнения log batch queue; он может терять логи молча. Точный аудит всех потерь потребовал бы отдельного processor/exporter wrapper. Падение/kill процесса до flush также теряет буферы.

Телеметрия строится по allowlist: статические имена событий/операций, route шаблоны, метод, status class/code, job.type/outcome и resource attributes. Не экспортируются Authorization/Basic/Bearer, пароли, session tokens, тела сообщений/запросов, filename, binary image, SQL-параметры, object keys, signed URL и тексты исключений. SDK diagnostics считаются без вывода текста. Отдельный privacy test ищет canary сообщения, пароль, token и base64 картинки в свежих логах и upload trace; это проверка выбранного сценария, не доказательство отсутствия утечек для всех возможных входов.

Пароли генерирует bootstrap, .env и secrets/ исключены из Git и Docker context. Bootstrap сохраняет существующие credentials, а не перезаписывает их. Secret directory 0700, app secrets 0600; entrypoint копирует их в 0400 файлы для uid 10001 и сбрасывает root. Grafana secret 0444 внутри защищённого 0700 каталога нужен для bind mount в Grafana uid 472. Telemetry backends и OTLP доступны только в Compose network; Grafana/Prometheus/API опубликованы на loopback.

Ключевые файлы

  • src/telemetry.hpp, src/telemetry.cpp: SDK lifecycle, RAII spans, propagator, HTTP/jobs metrics и структурные логи.
  • src/main.cpp, src/worker_main.cpp: инициализация SDK и границы операций.
  • src/outbox.cpp: durable W3C context, producer publication и retry propagation.
  • src/db.cpp, src/s3_client.cpp, src/job_repo.cpp: pool и dependency spans, публикация ready и end-to-end histogram.
  • src/observability_monitor.*: отдельное наблюдение очереди, process CPU/RSS.
  • CMakeLists.txt, Dockerfile, docker-entrypoint.sh: SDK, зависимости, сборка и безопасное чтение Compose secrets непривилегированными процессами.
  • compose.yaml, infra/{otel,prometheus,loki,tempo,grafana}: весь telemetry stack, persistent volumes, provisioning, dashboard и alert rules.
  • scripts/bootstrap-local.py, student-tests/*, Makefile: bootstrap и проверки.

Первичные справочные материалы: OTel C++ exporters, Loki native OTLP, W3C Trace Context.

Доказательства критериев

Проверки реализации выполнены 16.11.2026. Таблица связывает отдельные заявленные критерии с воспроизводимыми командами, наблюдениями и сохранёнными файлами. Офлайн make check проверяет структуру, но не доказывает работу приложения.

Критерий README Команда/сценарий Наблюдаемый результат Файл доказательства
Публичный smoke; сохранение бизнес-API lab5 make test PASS: пользователи/сессии, чат, сообщения, идемпотентность, upload → ready, original/thumbnail и доступы evidence/verification.md, публичный tests/smoke.py
Уровень 3: API-реплики, БД, S3, broker и Worker docker compose up -d --build; docker compose ps Две API-реплики, Worker и бизнес-хранилища запущены; API readiness healthy; upload обрабатывается compose.yaml, evidence/verification.md
Уровень 3: Collector и хранилища трёх сигналов в общем стенде docker compose config --quiet; Collector validate; запуск Compose OTLP HTTP receiver и три pipelines; Prometheus/Loki/Tempo/Grafana работают, конфиги и named volumes заданы compose.yaml, infra/otel/collector.yaml, infra/{prometheus,loki,tempo,grafana}, evidence/verification.md
Уровень 3: SDK API/Worker, HTTP/job counters и histogram make test-observability Реальные метрики обоих приложений; проверены имена и запросы dashboard evidence/observability.json, src/telemetry.cpp
Уровень 3: реальные traces и структурные логи с корреляцией make test-observability Upload trace содержит API/Worker и S3/DB spans; Loki events обоих service.name найдены по trace ID evidence/observability.json
Уровень 3: низкая кардинальность и отсутствие приватных payloads в проверенном сценарии Privacy checks внутри make test-observability Нет raw chat ID/запрещённых labels, canary сообщения, пароля, token и base64 изображения в проверенных logs/trace evidence/observability.json, allowlist в src/telemetry.cpp
Уровень 3: импортируемые dashboard/datasources make test-observability Provisioned dashboard найден; 25 PromQL queries проверены infra/grafana/dashboards/messenger.json, infra/grafana/provisioning, evidence/observability.json
Уровень 4: W3C API → outbox → Redis → Worker make test-observability; /app/telemetry_test Consumer parent — producer, producer продолжает durable outbox context; invalid context и route privacy self-test PASS evidence/observability.json, student-tests/telemetry_test.cpp
Уровень 4: цепочка до S3/DB, включая retry make test-incidents, ограниченный отказ S3 Retry сохранил trace ID, следующая попытка дошла до ready; parent-child цепочка проверена evidence/incidents.json, событие retry_same_trace_ready_verified
Уровень 4: p50/p95/p99 из histogram всех реплик make test-observability Запросы с histogram_quantile и sum by(le) выполняются; единицы seconds документированы infra/grafana/dashboards/messenger.json, evidence/observability.json
Уровень 4: queue depth/age, DB pool, Worker saturation, process CPU/RAM и time-to-ready make test-observability; остановка Worker Метрики присутствуют; при остановке Worker depth=1, oldest age=61.10s, после запуска backlog=0 evidence/observability.json, evidence/incidents.json
Уровень 4: проверяемый SLI/SLO и alert rules promtool check config /etc/prometheus/prometheus.yaml; promtool check rules /etc/prometheus/alerts.yaml в контейнере Prometheus Конфиг и 3 правила валидны; задан availability ≥99% / 30min; достижение SLO за полное окно отдельно не доказывалось infra/prometheus/alerts.yaml, evidence/verification.md, подраздел SLI/SLO
Уровень 4: alerts при росте queue lag и DB outage make test-incidents QueueLagGrowing и ApiHighErrorRate прошли firing → resolved evidence/incidents.json, evidence/verification.md
Уровень 4: ограниченные очереди и отказ telemetry backend make test-incidents, остановка Tempo/Loki Upload дошёл до ready, сообщения записывались; +46 failed span export attempts, RSS Collector 179634176 bytes; сервисы восстановлены evidence/incidents.json, infra/otel/collector.yaml, src/telemetry.cpp
Уровень 4: локальные runbooks двух инцидентов Диагностика Worker stopped / DB unavailable по подразделу ниже Описаны сигналы, различение причин, команды восстановления и проверка resolved Подраздел «Диагностика контролируемых инцидентов», evidence/verification.md
Уровень 5, Track 1: одинаковая нагрузка Off / On 100% / Collector 10% python3 scripts/benchmark_telemetry.py --requests 1000 --concurrency 4 --repetitions 3 9 прогонов ×1000 uploads, concurrency 4; все 9000 HTTP 202/jobs ready, docker stats и ingest counters сохранены evidence/track1-benchmark.md, evidence/track1-benchmark.json
Уровень 5, Track 1: цена сигналов, потери редких ошибок, выбор конфигурации Тот же benchmark и отдельный ERROR probe API CPU +22.5% по медианам средних; C сохранил 10.92% spans; в Tempo найдены 9 из 100 synthetic ERROR traces; компромиссы объяснены Подраздел «Track 1: Цена наблюдаемости», evidence/track1-benchmark.md
Восстановление после эксперимента и проверки инструмента python3 scripts/benchmark_telemetry.py --self-test; затем make test, make test-observability Парсеры/trace-only config self-test PASS; SDK on и Collector 100% восстановлены; повторные smoke PASS evidence/track1-benchmark.json, скрипт benchmark, evidence/observability.json

Сохранённые результаты проверок

Track 1: методика и итоговая таблица — evidence/track1-benchmark.md; исходные latency/Docker stats/counters — evidence/track1-benchmark.json.

Проверено 16.11.2026 на финальном образе: Docker build, Compose config, Collector validate, promtool (конфиг и 3 правила), C++ self-test, публичный make test с telemetry on/off — PASS. Сквозная проверка реального upload, связанных логов, privacy canaries и 25 запросов provisioned dashboard — PASS. Полный поставляемый сценарий инцидентов на финальном образе — PASS: оба alerts firing/resolved, retry в том же trace до ready, работа API/worker при остановленных Loki/Tempo и последующее восстановление сервисов.

Нагрузка: 10338 успешных POST за 30.026s, 0 ошибок, 344.305 successful RPS, клиентские p50/p95/p99 = 5.666/52.505/61.702 ms. Это closed-loop тест, concurrency 4, percentile только успешных запросов; он не доказывает предельную производительность или соблюдение 30-минутного SLO.

Даты/времена инцидентов и итоговые проверки: evidence/verification.md. Длительный memory soak и исчерпывающий privacy-аудит не проводились. Автоматические evidence файлы не содержат токены, пароли или тела сообщений: evidence/observability.json — реальный trace ID, имена spans, проверенные метрики, связь producer/consumer и query checks; evidence/incidents.json — времена firing/resolved, агрегированные response codes и RSS Collector.

Эксперименты и отказы

Нагрузочный smoke

Хост: Intel Core i5-12450H, 12 logical CPU, 14.85 GiB RAM. Лимиты API — 2 ×0.5 CPU/256 MiB, Worker — 0.5 CPU/512 MiB; образы и SDK закреплены выше. Сценарий python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json: closed-loop POST сообщений без автоматических retry. Получено 10338 успешных запросов за 30.026s, ошибок 0, 344.305 RPS, p50/p95/p99 успешных запросов 5.666/52.505/61.702ms. Это один smoke-прогон, не измерение предельной мощности; CPU/RAM этим генератором не снимались. Полный сравнительный эксперимент вложений, включая CPU/RAM и прогрев/повторы, приведён в Track 1.

Контролируемые отказы

Команда make test-incidents останавливает/восстанавливает реальные Compose-сервисы worker, db, minio, tempo, loki; volumes не удаляет. Для S3 retry применяется pause/unpause уже запущенного Worker. Это прямые действия скрипта, а не проверка restart/failover hook; отдельные hooks в этой работе не заявляются. Времена ниже рассчитаны по evidence/incidents.json, дата — 16.11.2026.

Воздействие Что ожидаем Что наблюдали Время восстановления / потеря данных
Остановка worker, затем upload HTTP 202/queued, рост backlog/age, alert; после запуска job ready QueueLagGrowing firing через 74.1s после принятия upload; depth=1, oldest age=61.10s; затем backlog=0 и resolved От firing до drained/resolved 20.6s; та же attachment дошла до ready
Остановка db, валидные reads 5xx, ошибки DB dependency, ApiHighErrorRate firing Зафиксированы 1×503 и 87×502 на внешнем API; alert firing через 44.0s, после запуска БД чтение восстановлено Firing → resolved за 60.1s, включая вымывание ошибок из минутного окна; отдельный аудит всех COMMIT не проводился
Остановка minio при существующем Worker Неудачная попытка → durable retry → ready в прежнем trace s3_failure_scheduled_retry → retry_same_trace_ready_verified, trace 997e005d6cc34eaa869fc3ced3e479ee Между этими событиями 1.23s; job дошёл до ready без смены trace
Остановка tempo и loki API/Worker работают, экспорт ошибается, память/очереди ограничены Во время outage upload ready, сообщения сохранялись; +46 failed span export attempts, RSS Collector 171.31 MiB при Docker limit 256 MiB Работа приложения подтверждена через 21.3s намеренного outage; backends запущены, последующие smoke PASS. Потеря части telemetry допустима; failed attempts не равны уникальным потерям spans

Точное время команд restart/start не измерялось отдельно: указанные интервалы связаны с сохранёнными событиями наблюдения, а не обещанием recovery SLA.

Диагностика контролируемых инцидентов

make test-incidents создаёт только синтетические данные. Скрипт временно останавливает worker, БД и затем Loki/Tempo по очереди; каждый остановленный сервис запускается обратно в finally. Volumes не удаляются. Не запускайте сценарий на общем/боевом стенде с реальными пользователями.

  1. Worker stopped. Upload остаётся 202/queued, depth и oldest age растут, API продолжает отвечать, нет свежих consumer spans после producer. Проверить QueueLagGrowing firing в Prometheus, worker container state и logs. docker compose start worker; та же attachment становится ready, backlog уменьшается до 0, alert resolved. Низкий busy сам по себе не доказывает отсутствие очереди: проверять также age и свежесть наблюдения.
  2. DB unavailable. Валидные аутентифицированные reads возвращают 5xx, ApiHighErrorRate firing. В Tempo SERVER span error, задержка/ошибка postgresql.pool.acquire; db_pool_waiting позволяет отличить ожидание соединения от медленного S3. Queue observation становится stale; это не означает нулевой backlog. После docker compose start db pool переподключается, запросы снова успешны, alert resolved после вымывания ошибок из минутного окна.
  3. Tempo/Loki unavailable. Upload проходит до ready, сообщения сохраняются. Collector exporter failures растут; очередь ограничена, RSS доступен в otelcol_process_memory_rss. После возврата backend exporter восстанавливается; пакеты, истёкшие по retry/queue limit, не восстанавливаются из application data.

Track 1: Цена наблюдаемости

Гипотеза. Telemetry 100% увеличивает CPU/RAM API и Worker. Sampling 10% в Collector уменьшает экспорт в Tempo примерно на 90%, но не стоимость SDK и не входящий OTLP ingest. Ожидание «CPU +20–40%» проверяется, а не подставляется в результаты.

Методика. 16.11.2026, Intel Core i5-12450H, 12 logical CPU, 14.85 GiB RAM. Две API-реплики по 0.5 CPU/256 MiB, Worker 0.5 CPU/512 MiB; одинаковый binary и бизнес-зависимости. По три прогона каждого варианта, порядок ABC / BCA / CAB. Перед каждым — 20 warm-up uploads, затем 1000 POST вложений, concurrency 4: PNG 320×200, 111817 bytes. Все 9000 измеренных uploads вернули 202 и дошли до ready; очередь между прогонами полностью обработана, volumes не удаляются.

A: SDK disabled; B: SDK ParentBased(AlwaysOn), Collector 100%; C: SDK остаётся 100%, только traces pipeline получает probabilistic_sampler/track1 (sampling_percentage: 10, hash_seed: 22) после memory_limiter и перед batch. Внешний traceparent не задаётся. Логи и метрики в C сохраняются на 100%. Off оставляет no-op обёртки и background observer: это runtime SDK on/off, а не сравнение со сборкой без инструментации.

Latency/mean/RPS измерены клиентом до HTTP 202, не до ready; p50/p99 — nearest rank. CPU/RAM — средние docker stats за POST + полный drain Worker; API = сумма двух реплик, 100% CPU = одно logical core, RAM = Docker working set в MiB, не peak RSS. Spans/s = delta otelcol_receiver_accepted_spans / окно POST + drain + финальный flush. Collector пересоздаётся перед прогоном; delta берётся внутри одного его запуска. Ниже медианы трёх прогонов, включая медиану индивидуальных p50/p99, не pooled percentile.

Настройка RPS p50 latency, ms p99 latency, ms CPU API RAM API, MiB CPU Worker RAM Worker, MiB Spans/sec (ingest)
A: Off 84.37 27.30 202.70 10.32% 14.22 34.79% 6.88 0.00
B: On, SDK 100% / Collector 100% 75.44 30.46 288.30 12.64% 17.05 38.48% 7.81 391.01
C: On, SDK 100% / Collector 10% 75.28 30.48 204.05 13.31% 16.58 39.12% 7.88 412.19

Медианное среднее HTTP-время A/B/C: 46.89 / 52.56 / 52.82 ms. Отдельные прогоны, дополнительные counters и длительности — evidence/track1-benchmark.md; исходные latency samples, Docker stats, SHA256 конфигов и hardware/limits — evidence/track1-benchmark.json.

Цена CPU/RAM. B против A: средний CPU API +22.5%, Worker +10.6%; RAM API +19.9% (+2.83 MiB на две реплики), Worker +13.5% (+0.93 MiB). Но CPU% усредняется за окна разной длины. Для одинакового объёма работы оценка CPU·мс/job = (CPU% / 100) × pipeline_seconds × 1000 / jobs_count; медиана её парного прироста по повторам — +9.9% API, +2.2% Worker. Диапазон +20–40% наблюдался у среднего CPU API, но не является универсальной надбавкой SDK и не подтвердился для нормированного CPU Worker.

Ingest и экспорт. В B и C принято примерно 28.2 тыс. spans на 1000 uploads. Медианные accepted/sent: B 28231 / 28230, C 28218 / 3083. C сохраняет медианно 10.92% spans, отбрасывая около 89.08% перед Tempo. Это вероятностный отбор по trace ID, а не точная квота. Исходящий поток в Tempo снизился с 391.00 до 44.78 spans/s. Входящий ingest не уменьшился: SDK всё создаёт и отправляет; разница его rate связана с длительностью окна. Это количества spans, не bytes. В каждом on-прогоне принято 3000 log records: экономия относится к traces, а не ко всем трём сигналам. Разгрузка CPU/RAM приложений вариантом C не доказана.

Какие редкие ошибки теряются. Отдельно от замеров API отправлены 100 синтетических ERROR-traces со status 503: в Tempo найдены 9, отсутствуют 91. Это проверка sampler, не 100 реальных отказов API. Чистый probabilistic sampler не учитывает тяжесть ошибки: единичный 5xx, неудачный Worker/S3 retry или редкий медленный запрос теряет подробный trace примерно с вероятностью 90%. Вероятность потерять все пять независимых редких error traces — 0.9⁵ ≈ 59%. Ошибки в метриках Prometheus и ERROR logs Loki остаются; ссылка из сохранённого лога может не найти trace в Tempo. Поведение соответствует probabilistic sampler 0.119.0.

Выбор для production. Из A/B/C — C при ограниченном бюджете хранения: полные метрики/логи и около десятой части traces. A лишает систему наблюдаемости; B полезен при малом трафике и диагностике, но сохраняет все traces. Для критичных потоков чистого C недостаточно: предпочтительнее error/slow-aware tail sampling, сохраняющий ERROR и медленные traces плюс 10% обычных. Это рекомендация, не дополнительная реализованная политика. Для async Worker decision window должен учитывать очередь/retry и иметь ограниченную память. Для снижения именно CPU SDK или OTLP ingress sampling потребуется в SDK, с риском потерять ошибки ещё до Collector.

Качество и ограничения. Во всех прогонах HTTP errors, refused spans и failed span exports = 0; внутри on-окон delta SDK diagnostics = 0, максимум счётчика переполнения span batch queue = 0. До начала некоторых окон SDK diagnostics уже равнялся 4: startup/reconfiguration исключены из steady-state замеров. Разница accepted/sent в B до нескольких spans объяснима асинхронными границами и фоновыми health/outbox spans; counters не являются строгим аудитом всех возможных потерь SDK.

Closed-loop, один хост, три повтора, без CPU pinning и изоляции фоновой нагрузки. БД/S3 растут; порядок вариантов ротируется. В третьем повторе pipeline A/B занял 140.02/137.77s вместо примерно 64–80s в других прогонах; причина отдельно не профилировалась, результаты не удалялись. p99 отдельных прогонов: A 201.98–413.17ms, B 200.24–437.94ms, C 202.22–212.64ms. По медианному p99 нельзя доказывать, что C быстрее B; весь рост CPU% нельзя приписать SDK. Startup cost, точные OTLP bytes и backend CPU/RAM не измерялись. После завершения восстановлены SDK on и Collector 100%; API/observability smoke повторно прошли.

Воспроизведение:

python3 scripts/benchmark_telemetry.py --self-test
python3 scripts/benchmark_telemetry.py --requests 1000 --concurrency 4 --repetitions 3

Для Docker Snap при необходимости передать --compose /path/to/docker-compose и --docker /path/to/docker. Скрипт восстанавливает baseline в finally.

Ограничения и следующие шаги

  • API/Worker выдержали ограниченные остановки Worker, БД, S3 и telemetry backends с описанным восстановлением; это не HA-гарантия для БД, lb, MinIO или всего хоста. Persistent volumes заданы, но отдельный полный persistence/failover hook в lab6 не проверялся. Достижение availability SLO ≥99% за 30 минут отдельно не измерялось.
  • Временные ошибки экспорта, переполнение bounded buffers и аварийный kill могут терять telemetry. SDK 1.21 не даёт точного счётчика потерь log batch queue; export failures/SDK diagnostics не являются строгим аудитом уникальных потерь.
  • Queue depth — логические незавершённые jobs из PostgreSQL, не Redis XLEN. При отказе БД значения устаревают, что отмечается отдельным alert. PgPool metrics не включают dedicated connection observer. Worker последовательный, capacity=1.
  • Low-cardinality allowlist и privacy canaries проверены для синтетического сценария; исчерпывающий privacy/security audit и длительный memory soak не проводились. Наблюдение RSS за 21.3s outage не заменяет длительный тест ограниченности памяти.
  • Track 1 — closed-loop, один хост, 3 повтора без CPU pinning/изоляции фоновой нагрузки, с растущей БД/S3. Все результаты, включая медленные третьи прогоны, сохранены. Выводы относятся к этим лимитам/PNG/нагрузке, не к произвольному production.
  • Подтверждено: Collector sampling уменьшает число отправленных в Tempo spans примерно на 89%, сохраняя metrics/logs; не подтверждено снижение CPU SDK, OTLP bytes или backend CPU/стоимости хранения в деньгах. Сохранение только 9 из 100 synthetic ERROR traces показывает отсутствие error-aware гарантии.
  • Следующие шаги: отдельный хост/CPU pinning и более длинные повторы для устойчивой оценки overhead; измерение OTLP bytes и ingest/storage CPU; эксперимент с SDK sampling, если нужна экономия приложения. Error/slow-aware tail sampling с bounded memory и окном, учитывающим async queue/retry, остаётся рекомендацией и требует отдельной проверки. Также нужны длительный memory soak и полный аудит потерь.