53 KiB
Отчёт — лабораторная 6
- Автор, группа: Никитин Андрей Александрович, БВТ2301
- Целевая оценка; выбранный трек 5, если нужен: 5; Track 1 — цена наблюдаемости.
- Commit/PR: реализация находится в рабочем дереве; отдельный commit/PR ещё не опубликован. Baseline шаблона:
470d9d6f1e4fe4f594e37c2ba59550ee5ca54fc1. - Использованные источники, библиотеки и помощь ИИ: README и контракты курса; первичная документация OpenTelemetry, W3C Trace Context и Grafana; opentelemetry-cpp, minio-cpp, libpqxx, hiredis, libsodium, nlohmann/json, libexif, libwebp и stb. Помощь ИИ: Codex — реализация инструментации, конфигурации, скрипты проверок/бенчмарка и оформление отчёта. Версии и ссылки приведены ниже.
Запуск из чистого clone
Требуются Linux amd64, Docker Engine с Compose v2+, Python 3.9+ и доступ к Ubuntu/GitHub/registry при первой сборке. Приложения собираются как C++17; компилятор, CMake и native-зависимости устанавливаются внутри Dockerfile. Прежние готовые API-образы lab5 не требуются.
| Компонент | Закреплённая версия |
|---|---|
| Build/runtime OS | Ubuntu 24.04 |
| OpenTelemetry C++ / MinIO C++ / libpqxx | v1.21.0 / v0.3.0 / 7.10.0 |
| PostgreSQL / Valkey / Nginx | 16.15-alpine / 8.1.10-alpine / 1.28.0-alpine |
| MinIO / mc | RELEASE.2025-04-22T22-12-26Z / RELEASE.2025-04-16T18-13-26Z |
| Collector Contrib / Prometheus | 0.119.0 / 3.2.1 |
| Loki / Tempo / Grafana | 3.4.2 / 2.7.2 / 11.6.0 |
python3 scripts/bootstrap-local.py
docker compose config --quiet
docker compose up -d --build
# Дождаться HTTP 200:
curl -fsS http://localhost:8080/health/ready
make check
make test
make test-observability
make test-incidents
Grafana: http://localhost:3000/d/messenger-observability, пользователь admin,
пароль в локальном secrets/grafana_admin_password. Dashboard: папка Messenger.
Prometheus: http://localhost:9090, alerts http://localhost:9090/alerts.
В Grafana Explore выбрать Tempo, найти trace, перейти к Loki logs; либо выбрать
Loki {service_name="messenger-worker"} и фильтровать по trace_id.
API → HTTP → worker → S3/DB проверяется student-tests/observability.py.
API_PORT, GRAFANA_PORT, PROMETHEUS_PORT настраиваются в .env; при их
изменении URL тестов задаются параметрами соответствующих Python scripts.
OTEL_SDK_DISABLED=true docker compose up -d --force-recreate api worker отключает
SDK для сравнения; бизнес-процессы продолжают работать.
Если в окружении Docker Snap команда docker compose не найдена, используйте
установленный CLI plugin напрямую: make test-observability COMPOSE=/path/to/docker-compose.
Первый запуск требует действий оператора: запустить bootstrap, выполнить build/up,
дождаться HTTP 200 readiness и затем запустить проверки. Bootstrap создаёт .env
и secrets/ со случайными учебными credentials без вывода значений. Если они уже
существуют, скрипт сохраняет их и завершает работу: для повторного запуска достаточно
docker compose up -d. Секреты в отчёт и evidence не включаются.
API и Worker применяют SQL-миграции автоматически под PostgreSQL advisory lock.
Сервисы minio-init и minio-user-init идемпотентно создают приватный bucket,
policy и ограниченного S3 пользователя; Worker создаёт Redis consumer group.
Grafana автоматически загружает datasources/dashboard. Ручное выполнение SQL
и ручной импорт dashboard не требуются.
Безопасная остановка с сохранением named volumes:
docker compose down
Намеренное удаление всех учебных данных этого Compose-проекта: БД, Redis, MinIO, Prometheus, Loki, Tempo и состояния Grafana. Ниже приведена только инструкция; в рамках работы эта команда не выполнялась:
# Только для осознанного сброса собственного учебного стенда:
docker compose down --volumes
Локальные .env и secrets/ эта команда не удаляет.
Архитектура и решения
Основа и границы изменений
В исходном lab6 был skeleton без C++ приложения, CMakeLists.txt и рабочего compose.yaml.
В этот репозиторий перенесены исходники lab5 из соседнего checkout
(commit 580b33efe867d348285785bcccd63681ec7ae962), миграции, MinIO bootstrap,
Nginx, инструменты проверки изображений и vendored stb. Соседний lab5 не изменён.
Сохранены API, авторизация/сессии, схемы БД, Redis Streams, transactional outbox,
retry/backoff, дедупликация, ACK после durable результата, проверка изображений,
MinIO original/variants и direct-upload расширение lab5. Изменения в job payload:
только предусмотренные контрактом optional поля traceparent/tracestate.
Когда SDK отключён, отсутствующий traceparent не записывается как пустая строка.
Процессы, хранилища и версии SDK
flowchart LR
API[API x2 / opentelemetry-cpp] -->|OTLP HTTP protobuf :4318| C[OTel Collector]
W[Worker / opentelemetry-cpp] -->|OTLP HTTP protobuf :4318| C
API --> O[PostgreSQL outbox + W3C context]
O --> P[Publisher producer span]
P --> R[Redis Stream / JSON + traceparent]
R --> W
C -->|Prometheus exporter :9464| M[Prometheus / 7 days]
C -->|OTLP HTTP /otlp/v1/logs| L[Loki / 7 days]
C -->|OTLP HTTP /v1/traces| T[Tempo / 7 days]
G[Grafana] --> M
G --> L
G --> T
API и worker инициализируют SDK в своих main(). В каждом процессе отдельные
TracerProvider, MeterProvider, LoggerProvider, resource attributes:
service.name=messenger-api|messenger-worker, service.version=lab6-1.0,
service.instance.id=<hostname контейнера>, deployment.environment.name=lab.
Instrumentation scope messenger, version 1.0. Используются имена OTel HTTP/messaging
и локальные документированные метрики worker/queue/pool; это не заявление о полном
соответствии всем экспериментальным semantic conventions конкретного schema URL.
SDK закреплён на opentelemetry-cpp v1.21.0 (commit
b9cf499ff5715433848b316059714b5c59af1f2c), ABI 1. Экспортер только OTLP
HTTP/protobuf: WITH_OTLP_HTTP=ON, WITH_OTLP_GRPC=OFF.
Collector Contrib 0.119.0, Prometheus 3.2.1, Loki 3.4.2, Tempo 2.7.2,
Grafana 11.6.0. PostgreSQL 16.15, Valkey 8.1.10, Nginx 1.28.0;
MinIO RELEASE.2025-04-22T22-12-26Z, mc RELEASE.2025-04-16T18-13-26Z.
Теги и конфиги закреплены в Compose. Loki использует native OTLP endpoint,
а не удалённый Loki exporter. Collector не является долговременным хранилищем;
Grafana строит запросы и визуализирует данные хранилищ. Все четыре хранилища
состояния telemetry имеют отдельные named volumes.
Источник истины и транзакционные границы
PostgreSQL — источник истины для пользователей, чатов, сообщений, вложений,
состояний jobs и durable outbox; MinIO хранит бинарные оригиналы/варианты.
Valkey используется для Redis Streams и, при SESSION_STORE=redis, сессий;
в проверенной .env выбран SESSION_STORE=postgres. Брокер доставляет задания,
а не заменяет durable состояние job в PostgreSQL.
Создание job и outbox записи выполняется в одной PostgreSQL-транзакции. Publisher отмечает outbox published после XADD; повторная доставка допускается. Worker сохраняет durable результат/следующую попытку до ACK. Публикация ссылки на готовые S3-объекты и статуса ready происходит транзакционно в БД. Эти правила lab5 сохранены; telemetry не участвует в принятии бизнес-решений.
Соответствие .env.example конфигурации
| Переменные | Реальное применение |
|---|---|
POSTGRES_USER, POSTGRES_PASSWORD, POSTGRES_DB |
Bootstrap PostgreSQL; secrets/database_url должен содержать согласованный connection string. Генератор создаёт согласованные значения. |
DATABASE_URL_FILE, CACHE_URL_FILE, BROKER_URL_FILE, S3 *_FILE |
Compose монтирует file secrets в /run/secrets; entrypoint переносит их в /tmp/app-secrets для uid 10001. Worker и API используют один Redis/Valkey endpoint. |
SESSION_STORE, SESSION_TTL_SECONDS, IDEMPOTENCY_TTL_SECONDS |
Выбор хранилища/TTL сессий и идемпотентности API. |
API_REPLICAS, API_PORT |
Число API-реплик и внешний порт lb; APP_HOST/APP_PORT внутри Compose фиксированы как 0.0.0.0:8080. |
S3_ENDPOINT, S3_REGION, S3_BUCKET, MinIO credentials |
Endpoint/bucket приложения и идемпотентный S3 bootstrap; приложения используют отдельного ограниченного пользователя. |
MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS, MAX_CONCURRENT_UPLOADS, DIRECT_UPLOAD_TTL_SECONDS |
Ограничения upload/image/direct-upload из lab5. |
JOB_MAX_ATTEMPTS, JOB_RECLAIM_IDLE_MS, JOB_RETRY_BASE_MS, JOB_RETRY_MAX_MS, JOB_TIMEOUT_SECONDS |
Retry/reclaim/backoff и watchdog Worker. |
STAGING_RETENTION_SECONDS, STAGING_CLEANUP_INTERVAL_SECONDS |
Очистка staging. |
WORKER_CONCURRENCY=1 |
Описывает реализованный последовательный Worker; изменение этой переменной не включает дополнительные потоки. Метрика capacity равна 1. |
OTEL_SDK_DISABLED |
Runtime on/off SDK в обоих приложениях. |
OTEL_COLLECTOR_CONFIG |
Путь к Collector profile: по умолчанию 100%; для Track 1 используется отдельный 10% traces profile. |
GRAFANA_ADMIN_USER, GRAFANA_PORT, PROMETHEUS_PORT |
Учётная запись Grafana и loopback-порты UI. Пароль Grafana читается из отдельного file secret. |
APP_ENV |
В этом стенде окружение фиксировано как deployment.environment.name=lab; переменная не переключает ресурсные атрибуты. |
OTLP endpoint задаётся Compose как http://otel-collector:4318; service.name и
service.version — кодом инициализации SDK. Настройки HTTP/DB pool и CPU/RAM имеют
дополнительные defaults в Compose; проверенные лимиты приведены в экспериментах.
Сквозная передача контекста
- После разбора заголовков API извлекает только W3C
traceparent/tracestateчерезHttpTraceContext::Extract, создаёт SERVER span, активирует Scope. Невалидный traceparent не становится родителем. Baggage не переносится. enqueue_attachment_job()создаёт PRODUCER spanattachment.enqueueи в той же транзакции, что и job, записывает текущие W3C поля в JSON outbox. Это существенно: позднее publisher работает в другом потоке и не имеет HTTP Scope.- Publisher извлекает durable контекст из JSON, создаёт PRODUCER span
jobs:attachments publish, подставляет его traceparent в публикуемый Redis JSON. Исходный durable payload остаётся неизменным, повторная публикация получает новый producer span с прежним причинным родителем. - Worker извлекает контекст из полученного JSON и создаёт CONSUMER span
attachment.processс родителем Redis producer. S3 операции и DB публикация ready — дочерние CLIENT spans. В спаны не записываются object keys и SQL-параметры. - Если JobRepo планирует retry,
enqueue_attachment_job()вызывается под текущим consumer Scope. Следующая попытка продолжает тот же trace через новый outbox producer; исходные правила retry/ACK не меняются.
Root sampling — always on, дочерние spans используют ParentBasedSampler и
уважают sampled flag родителя. API и worker ведут реальные spans операций,
а не фиксированные демонстрационные traces. Логи завершения HTTP и job получают
тот же trace_id/span_id; HTTP request_id сохраняется отдельно и соответствует
X-Request-Id, уникальность между репликами задаёт service.instance.id.
Сигналы и имена в Prometheus
| SDK instrument | Prometheus | Единицы / смысл |
|---|---|---|
| http.server.requests | http_server_requests_total | бизнес-запросы; method, route template, status class |
| http.server.request.duration | http_server_request_duration_seconds_bucket/count/sum | секунды, включая чтение запроса |
| worker.jobs | worker_jobs_total | доставки; job.type, outcome |
| worker.job.duration | worker_job_duration_seconds_bucket/count/sum | секунды от consume до завершения обработки/ACK |
| attachment.ready.duration | attachment_ready_duration_seconds_bucket/count/sum | durable job creation → транзакция публикации ready |
| queue.depth | queue_depth | незавершённые durable jobs |
| queue.oldest.age | queue_oldest_age | возраст старейшей незавершённой job, секунды |
| queue.observation.timestamp | queue_observation_timestamp | Unix seconds последнего успешного наблюдения |
| db.pool.used/waiting/capacity | db_pool_used/waiting/capacity | занятые, ожидающие и все соединения PgPool процесса |
| worker.busy/capacity | worker_busy/capacity | активные задачи / 1 последовательный worker |
| process.cpu.time | process_cpu_time | user+system CPU seconds; rate = использованные ядра |
| process.memory.usage | process_memory_usage | текущий RSS bytes из /proc/self/statm |
| telemetry.sdk.errors | telemetry_sdk_errors | накопленные внутренние SDK warning/error diagnostics |
| telemetry.sdk.dropped.spans | telemetry_sdk_dropped_spans | накопленные предупреждения переполнения span batch queue |
Health endpoints исключены из RPS/errors/duration и логов завершения запроса.
Duration записывается и на ранних HTTP-ошибках; неподдержанные/неизвестные маршруты
получают unmatched, неизвестные методы _OTHER. Идентификаторы и query strings
не попадают в metric labels. Границы histogram в секундах:
0.005, 0.01, 0.025, 0.05, 0.1, 0.25, 0.5, 1, 2.5, 5, 10, 30, 60, 120.
Worker outcomes: success, failed, retry, busy, superseded.
Это счётчик попыток доставки, а не unique jobs: повторное чтение ready job
учитывается как ещё одна успешная доставка. retry означает неудачную попытку
с durable перепланированием, failed — terminal failure/невалидная ссылка либо
исключение, оставившее доставку pending. Не смешивайте эти категории с числом
уникально опубликованных attachments.
Queue observer раз в 5 секунд читает jobs WHERE status IN ('queued','processing')
по отдельному соединению PostgreSQL, только в API. max объединяет одинаковое
наблюдение от двух реплик. Метрика включает отложенные retry и непубликованный
outbox, не включает terminal jobs и историю ACKed stream entries. Это логический
backlog, а не XLEN и не время обработки. При недоступной БД последнее значение
может устареть — для этого есть timestamp, панель возраста наблюдения и alert.
Соединение observer не входит в PgPool; фоновые outbox/cleaner PgPool входят.
Dashboard Messenger — Observability, UID messenger-observability, импортируется
автоматически из infra/grafana/dashboards/messenger.json. Есть RPS, p50/p95/p99
HTTP/worker/time-to-ready, error ratio, queue depth/age, worker saturation,
DB pools, CPU/RSS, диагностика Collector и связанные логи.
Пример percentile всех реплик:
histogram_quantile(0.95,
sum by(le)(rate(http_server_request_duration_seconds_bucket[5m])))
Error ratio: 5xx / все бизнес-запросы. Ответы 4xx в numerator не входят.
При отсутствии серии 5xx numerator равен нулю (or vector(0)).
Worker saturation: sum(worker_busy) / clamp_min(sum(worker_capacity), 1).
Histogram quantiles при отсутствии наблюдений дают NaN; dashboard не подменяет
его средним или выдуманным percentile. OTLP Prometheus exporter может ещё хранить
последние серии остановленного процесса до истечения настроенного expiration interval
20s (затем требуется ещё один scrape Prometheus).
SLI/SLO и alerts
Учебный availability SLI = 1 - 5xx / все бизнес-запросы, health исключён.
Цель: ≥99% за скользящие 30 минут при ненулевом трафике. Практический сигнал
быстрой диагностики: error ratio >5% за 1 минуту, for: 30s (ApiHighErrorRate).
Это локальный диагностический alert, а не burn-rate модель production SLO.
QueueLagGrowing: oldest age >30s, depth >0, delta(age[1m]) >0, for: 30s.
QueueObservationStale: наблюдение старше 30s или отсутствует, for: 30s.
Все правила, пороги, окна и пояснения сохранены в infra/prometheus/alerts.yaml.
Локальное состояние доступно в Prometheus /alerts; внешних уведомлений нет.
Отказоустойчивость и безопасность
SDK batch queues: максимум 1024 span records и 1024 log records на процесс, пачка 128, интервал 500ms, timeout HTTP 500ms, одна попытка экспорта. Экспорт выполняется в фоновых потоках SDK; периодический reader метрик — 5s, export timeout 1s. При недоступном Collector приложения продолжают работу, возможна потеря telemetry. Graceful shutdown ограничивает ожидание каждой из трёх providers двумя секундами.
Collector: memory_limiter первым процессором (192 MiB, spike 32 MiB, 1s), batch 256, max 512, timeout 1s. Очередь каждого backend exporter ограничена 256 batches, 2 consumers, HTTP timeout 2s, retry с backoff 1–5s, общий лимит 15s. Docker memory limit 256 MiB и GOMEMLIMIT 200MiB ограничивают процесс. API/worker не зависят через depends_on от Collector/Loki/Tempo/Grafana. При отказе backend сохраняются работа API/worker и экспорт метрик в Prometheus; Collector регистрирует ошибки/потери и после восстановления возобновляет экспорт.
Диагностика потерь: otelcol_exporter_send_failed_spans,
otelcol_exporter_send_failed_log_records, otelcol_exporter_enqueue_failed_spans,
otelcol_processor_refused_spans, telemetry_sdk_errors,
telemetry_sdk_dropped_spans. Не складывайте эти значения как точное количество
уникально потерянных spans: неуспешный экспорт может повторяться при retry.
SDK 1.21 не сообщает отдельный точный счётчик переполнения log batch queue;
он может терять логи молча. Точный аудит всех потерь потребовал бы отдельного
processor/exporter wrapper. Падение/kill процесса до flush также теряет буферы.
Телеметрия строится по allowlist: статические имена событий/операций, route шаблоны, метод, status class/code, job.type/outcome и resource attributes. Не экспортируются Authorization/Basic/Bearer, пароли, session tokens, тела сообщений/запросов, filename, binary image, SQL-параметры, object keys, signed URL и тексты исключений. SDK diagnostics считаются без вывода текста. Отдельный privacy test ищет canary сообщения, пароль, token и base64 картинки в свежих логах и upload trace; это проверка выбранного сценария, не доказательство отсутствия утечек для всех возможных входов.
Пароли генерирует bootstrap, .env и secrets/ исключены из Git и Docker context.
Bootstrap сохраняет существующие credentials, а не перезаписывает их.
Secret directory 0700, app secrets 0600; entrypoint копирует их в 0400 файлы
для uid 10001 и сбрасывает root. Grafana secret 0444 внутри защищённого 0700
каталога нужен для bind mount в Grafana uid 472. Telemetry backends и OTLP
доступны только в Compose network; Grafana/Prometheus/API опубликованы на loopback.
Ключевые файлы
src/telemetry.hpp,src/telemetry.cpp: SDK lifecycle, RAII spans, propagator, HTTP/jobs metrics и структурные логи.src/main.cpp,src/worker_main.cpp: инициализация SDK и границы операций.src/outbox.cpp: durable W3C context, producer publication и retry propagation.src/db.cpp,src/s3_client.cpp,src/job_repo.cpp: pool и dependency spans, публикация ready и end-to-end histogram.src/observability_monitor.*: отдельное наблюдение очереди, process CPU/RSS.CMakeLists.txt,Dockerfile,docker-entrypoint.sh: SDK, зависимости, сборка и безопасное чтение Compose secrets непривилегированными процессами.compose.yaml,infra/{otel,prometheus,loki,tempo,grafana}: весь telemetry stack, persistent volumes, provisioning, dashboard и alert rules.scripts/bootstrap-local.py,student-tests/*,Makefile: bootstrap и проверки.
Первичные справочные материалы: OTel C++ exporters, Loki native OTLP, W3C Trace Context.
Доказательства критериев
Проверки реализации выполнены 16.11.2026. Таблица связывает отдельные заявленные
критерии с воспроизводимыми командами, наблюдениями и сохранёнными файлами.
Офлайн make check проверяет структуру, но не доказывает работу приложения.
| Критерий README | Команда/сценарий | Наблюдаемый результат | Файл доказательства |
|---|---|---|---|
| Публичный smoke; сохранение бизнес-API lab5 | make test |
PASS: пользователи/сессии, чат, сообщения, идемпотентность, upload → ready, original/thumbnail и доступы | evidence/verification.md, публичный tests/smoke.py |
| Уровень 3: API-реплики, БД, S3, broker и Worker | docker compose up -d --build; docker compose ps |
Две API-реплики, Worker и бизнес-хранилища запущены; API readiness healthy; upload обрабатывается | compose.yaml, evidence/verification.md |
| Уровень 3: Collector и хранилища трёх сигналов в общем стенде | docker compose config --quiet; Collector validate; запуск Compose |
OTLP HTTP receiver и три pipelines; Prometheus/Loki/Tempo/Grafana работают, конфиги и named volumes заданы | compose.yaml, infra/otel/collector.yaml, infra/{prometheus,loki,tempo,grafana}, evidence/verification.md |
| Уровень 3: SDK API/Worker, HTTP/job counters и histogram | make test-observability |
Реальные метрики обоих приложений; проверены имена и запросы dashboard | evidence/observability.json, src/telemetry.cpp |
| Уровень 3: реальные traces и структурные логи с корреляцией | make test-observability |
Upload trace содержит API/Worker и S3/DB spans; Loki events обоих service.name найдены по trace ID | evidence/observability.json |
| Уровень 3: низкая кардинальность и отсутствие приватных payloads в проверенном сценарии | Privacy checks внутри make test-observability |
Нет raw chat ID/запрещённых labels, canary сообщения, пароля, token и base64 изображения в проверенных logs/trace | evidence/observability.json, allowlist в src/telemetry.cpp |
| Уровень 3: импортируемые dashboard/datasources | make test-observability |
Provisioned dashboard найден; 25 PromQL queries проверены | infra/grafana/dashboards/messenger.json, infra/grafana/provisioning, evidence/observability.json |
| Уровень 4: W3C API → outbox → Redis → Worker | make test-observability; /app/telemetry_test |
Consumer parent — producer, producer продолжает durable outbox context; invalid context и route privacy self-test PASS | evidence/observability.json, student-tests/telemetry_test.cpp |
| Уровень 4: цепочка до S3/DB, включая retry | make test-incidents, ограниченный отказ S3 |
Retry сохранил trace ID, следующая попытка дошла до ready; parent-child цепочка проверена | evidence/incidents.json, событие retry_same_trace_ready_verified |
| Уровень 4: p50/p95/p99 из histogram всех реплик | make test-observability |
Запросы с histogram_quantile и sum by(le) выполняются; единицы seconds документированы |
infra/grafana/dashboards/messenger.json, evidence/observability.json |
| Уровень 4: queue depth/age, DB pool, Worker saturation, process CPU/RAM и time-to-ready | make test-observability; остановка Worker |
Метрики присутствуют; при остановке Worker depth=1, oldest age=61.10s, после запуска backlog=0 | evidence/observability.json, evidence/incidents.json |
| Уровень 4: проверяемый SLI/SLO и alert rules | promtool check config /etc/prometheus/prometheus.yaml; promtool check rules /etc/prometheus/alerts.yaml в контейнере Prometheus |
Конфиг и 3 правила валидны; задан availability ≥99% / 30min; достижение SLO за полное окно отдельно не доказывалось | infra/prometheus/alerts.yaml, evidence/verification.md, подраздел SLI/SLO |
| Уровень 4: alerts при росте queue lag и DB outage | make test-incidents |
QueueLagGrowing и ApiHighErrorRate прошли firing → resolved |
evidence/incidents.json, evidence/verification.md |
| Уровень 4: ограниченные очереди и отказ telemetry backend | make test-incidents, остановка Tempo/Loki |
Upload дошёл до ready, сообщения записывались; +46 failed span export attempts, RSS Collector 179634176 bytes; сервисы восстановлены | evidence/incidents.json, infra/otel/collector.yaml, src/telemetry.cpp |
| Уровень 4: локальные runbooks двух инцидентов | Диагностика Worker stopped / DB unavailable по подразделу ниже | Описаны сигналы, различение причин, команды восстановления и проверка resolved | Подраздел «Диагностика контролируемых инцидентов», evidence/verification.md |
| Уровень 5, Track 1: одинаковая нагрузка Off / On 100% / Collector 10% | python3 scripts/benchmark_telemetry.py --requests 1000 --concurrency 4 --repetitions 3 |
9 прогонов ×1000 uploads, concurrency 4; все 9000 HTTP 202/jobs ready, docker stats и ingest counters сохранены | evidence/track1-benchmark.md, evidence/track1-benchmark.json |
| Уровень 5, Track 1: цена сигналов, потери редких ошибок, выбор конфигурации | Тот же benchmark и отдельный ERROR probe | API CPU +22.5% по медианам средних; C сохранил 10.92% spans; в Tempo найдены 9 из 100 synthetic ERROR traces; компромиссы объяснены | Подраздел «Track 1: Цена наблюдаемости», evidence/track1-benchmark.md |
| Восстановление после эксперимента и проверки инструмента | python3 scripts/benchmark_telemetry.py --self-test; затем make test, make test-observability |
Парсеры/trace-only config self-test PASS; SDK on и Collector 100% восстановлены; повторные smoke PASS | evidence/track1-benchmark.json, скрипт benchmark, evidence/observability.json |
Сохранённые результаты проверок
Track 1: методика и итоговая таблица — evidence/track1-benchmark.md; исходные latency/Docker stats/counters — evidence/track1-benchmark.json.
Проверено 16.11.2026 на финальном образе: Docker build, Compose config,
Collector validate, promtool (конфиг и 3 правила), C++ self-test, публичный
make test с telemetry on/off — PASS. Сквозная проверка реального upload,
связанных логов, privacy canaries и 25 запросов provisioned dashboard — PASS.
Полный поставляемый сценарий инцидентов на финальном образе — PASS: оба alerts
firing/resolved, retry в том же trace до ready, работа API/worker при остановленных
Loki/Tempo и последующее восстановление сервисов.
Нагрузка: 10338 успешных POST за 30.026s, 0 ошибок, 344.305 successful RPS, клиентские p50/p95/p99 = 5.666/52.505/61.702 ms. Это closed-loop тест, concurrency 4, percentile только успешных запросов; он не доказывает предельную производительность или соблюдение 30-минутного SLO.
Даты/времена инцидентов и итоговые проверки: evidence/verification.md.
Длительный memory soak и исчерпывающий privacy-аудит не проводились.
Автоматические evidence файлы не содержат токены, пароли или тела сообщений:
evidence/observability.json — реальный trace ID, имена spans, проверенные метрики,
связь producer/consumer и query checks; evidence/incidents.json — времена
firing/resolved, агрегированные response codes и RSS Collector.
Эксперименты и отказы
Нагрузочный smoke
Хост: Intel Core i5-12450H, 12 logical CPU, 14.85 GiB RAM. Лимиты API —
2 ×0.5 CPU/256 MiB, Worker — 0.5 CPU/512 MiB; образы и SDK закреплены выше.
Сценарий python3 tests/load.py --duration 30 --concurrency 4 --output evidence/load.json:
closed-loop POST сообщений без автоматических retry. Получено 10338 успешных
запросов за 30.026s, ошибок 0, 344.305 RPS, p50/p95/p99 успешных запросов
5.666/52.505/61.702ms. Это один smoke-прогон, не измерение предельной мощности;
CPU/RAM этим генератором не снимались. Полный сравнительный эксперимент вложений,
включая CPU/RAM и прогрев/повторы, приведён в Track 1.
Контролируемые отказы
Команда make test-incidents останавливает/восстанавливает реальные Compose-сервисы
worker, db, minio, tempo, loki; volumes не удаляет. Для S3 retry применяется
pause/unpause уже запущенного Worker. Это прямые действия скрипта, а не
проверка restart/failover hook; отдельные hooks в этой работе не заявляются.
Времена ниже рассчитаны по evidence/incidents.json, дата — 16.11.2026.
| Воздействие | Что ожидаем | Что наблюдали | Время восстановления / потеря данных |
|---|---|---|---|
Остановка worker, затем upload |
HTTP 202/queued, рост backlog/age, alert; после запуска job ready | QueueLagGrowing firing через 74.1s после принятия upload; depth=1, oldest age=61.10s; затем backlog=0 и resolved |
От firing до drained/resolved 20.6s; та же attachment дошла до ready |
Остановка db, валидные reads |
5xx, ошибки DB dependency, ApiHighErrorRate firing |
Зафиксированы 1×503 и 87×502 на внешнем API; alert firing через 44.0s, после запуска БД чтение восстановлено | Firing → resolved за 60.1s, включая вымывание ошибок из минутного окна; отдельный аудит всех COMMIT не проводился |
Остановка minio при существующем Worker |
Неудачная попытка → durable retry → ready в прежнем trace | s3_failure_scheduled_retry → retry_same_trace_ready_verified, trace 997e005d6cc34eaa869fc3ced3e479ee |
Между этими событиями 1.23s; job дошёл до ready без смены trace |
Остановка tempo и loki |
API/Worker работают, экспорт ошибается, память/очереди ограничены | Во время outage upload ready, сообщения сохранялись; +46 failed span export attempts, RSS Collector 171.31 MiB при Docker limit 256 MiB | Работа приложения подтверждена через 21.3s намеренного outage; backends запущены, последующие smoke PASS. Потеря части telemetry допустима; failed attempts не равны уникальным потерям spans |
Точное время команд restart/start не измерялось отдельно: указанные интервалы связаны с сохранёнными событиями наблюдения, а не обещанием recovery SLA.
Диагностика контролируемых инцидентов
make test-incidents создаёт только синтетические данные. Скрипт временно
останавливает worker, БД и затем Loki/Tempo по очереди; каждый остановленный
сервис запускается обратно в finally. Volumes не удаляются.
Не запускайте сценарий на общем/боевом стенде с реальными пользователями.
- Worker stopped. Upload остаётся 202/queued, depth и oldest age растут,
API продолжает отвечать, нет свежих consumer spans после producer.
Проверить QueueLagGrowing firing в Prometheus, worker container state и logs.
docker compose start worker; та же attachment становится ready, backlog уменьшается до 0, alert resolved. Низкий busy сам по себе не доказывает отсутствие очереди: проверять также age и свежесть наблюдения. - DB unavailable. Валидные аутентифицированные reads возвращают 5xx,
ApiHighErrorRate firing. В Tempo SERVER span error, задержка/ошибка
postgresql.pool.acquire;db_pool_waitingпозволяет отличить ожидание соединения от медленного S3. Queue observation становится stale; это не означает нулевой backlog. Послеdocker compose start dbpool переподключается, запросы снова успешны, alert resolved после вымывания ошибок из минутного окна. - Tempo/Loki unavailable. Upload проходит до ready, сообщения сохраняются.
Collector exporter failures растут; очередь ограничена, RSS доступен в
otelcol_process_memory_rss. После возврата backend exporter восстанавливается; пакеты, истёкшие по retry/queue limit, не восстанавливаются из application data.
Track 1: Цена наблюдаемости
Гипотеза. Telemetry 100% увеличивает CPU/RAM API и Worker. Sampling 10% в Collector уменьшает экспорт в Tempo примерно на 90%, но не стоимость SDK и не входящий OTLP ingest. Ожидание «CPU +20–40%» проверяется, а не подставляется в результаты.
Методика. 16.11.2026, Intel Core i5-12450H, 12 logical CPU, 14.85 GiB RAM. Две API-реплики по 0.5 CPU/256 MiB, Worker 0.5 CPU/512 MiB; одинаковый binary и бизнес-зависимости. По три прогона каждого варианта, порядок ABC / BCA / CAB. Перед каждым — 20 warm-up uploads, затем 1000 POST вложений, concurrency 4: PNG 320×200, 111817 bytes. Все 9000 измеренных uploads вернули 202 и дошли до ready; очередь между прогонами полностью обработана, volumes не удаляются.
A: SDK disabled; B: SDK ParentBased(AlwaysOn), Collector 100%; C: SDK остаётся
100%, только traces pipeline получает probabilistic_sampler/track1
(sampling_percentage: 10, hash_seed: 22) после memory_limiter и перед batch.
Внешний traceparent не задаётся. Логи и метрики в C сохраняются на 100%.
Off оставляет no-op обёртки и background observer: это runtime SDK on/off,
а не сравнение со сборкой без инструментации.
Latency/mean/RPS измерены клиентом до HTTP 202, не до ready; p50/p99 — nearest rank.
CPU/RAM — средние docker stats за POST + полный drain Worker; API = сумма двух
реплик, 100% CPU = одно logical core, RAM = Docker working set в MiB, не peak RSS.
Spans/s = delta otelcol_receiver_accepted_spans / окно POST + drain + финальный flush.
Collector пересоздаётся перед прогоном; delta берётся внутри одного его запуска.
Ниже медианы трёх прогонов, включая медиану индивидуальных p50/p99, не pooled percentile.
| Настройка | RPS | p50 latency, ms | p99 latency, ms | CPU API | RAM API, MiB | CPU Worker | RAM Worker, MiB | Spans/sec (ingest) |
|---|---|---|---|---|---|---|---|---|
| A: Off | 84.37 | 27.30 | 202.70 | 10.32% | 14.22 | 34.79% | 6.88 | 0.00 |
| B: On, SDK 100% / Collector 100% | 75.44 | 30.46 | 288.30 | 12.64% | 17.05 | 38.48% | 7.81 | 391.01 |
| C: On, SDK 100% / Collector 10% | 75.28 | 30.48 | 204.05 | 13.31% | 16.58 | 39.12% | 7.88 | 412.19 |
Медианное среднее HTTP-время A/B/C: 46.89 / 52.56 / 52.82 ms. Отдельные прогоны, дополнительные counters и длительности — evidence/track1-benchmark.md; исходные latency samples, Docker stats, SHA256 конфигов и hardware/limits — evidence/track1-benchmark.json.
Цена CPU/RAM. B против A: средний CPU API +22.5%, Worker +10.6%; RAM API +19.9% (+2.83 MiB на две реплики), Worker +13.5% (+0.93 MiB). Но CPU% усредняется за окна разной длины. Для одинакового объёма работы оценка CPU·мс/job = (CPU% / 100) × pipeline_seconds × 1000 / jobs_count; медиана её парного прироста по повторам — +9.9% API, +2.2% Worker. Диапазон +20–40% наблюдался у среднего CPU API, но не является универсальной надбавкой SDK и не подтвердился для нормированного CPU Worker.
Ingest и экспорт. В B и C принято примерно 28.2 тыс. spans на 1000 uploads. Медианные accepted/sent: B 28231 / 28230, C 28218 / 3083. C сохраняет медианно 10.92% spans, отбрасывая около 89.08% перед Tempo. Это вероятностный отбор по trace ID, а не точная квота. Исходящий поток в Tempo снизился с 391.00 до 44.78 spans/s. Входящий ingest не уменьшился: SDK всё создаёт и отправляет; разница его rate связана с длительностью окна. Это количества spans, не bytes. В каждом on-прогоне принято 3000 log records: экономия относится к traces, а не ко всем трём сигналам. Разгрузка CPU/RAM приложений вариантом C не доказана.
Какие редкие ошибки теряются. Отдельно от замеров API отправлены 100 синтетических ERROR-traces со status 503: в Tempo найдены 9, отсутствуют 91. Это проверка sampler, не 100 реальных отказов API. Чистый probabilistic sampler не учитывает тяжесть ошибки: единичный 5xx, неудачный Worker/S3 retry или редкий медленный запрос теряет подробный trace примерно с вероятностью 90%. Вероятность потерять все пять независимых редких error traces — 0.9⁵ ≈ 59%. Ошибки в метриках Prometheus и ERROR logs Loki остаются; ссылка из сохранённого лога может не найти trace в Tempo. Поведение соответствует probabilistic sampler 0.119.0.
Выбор для production. Из A/B/C — C при ограниченном бюджете хранения: полные метрики/логи и около десятой части traces. A лишает систему наблюдаемости; B полезен при малом трафике и диагностике, но сохраняет все traces. Для критичных потоков чистого C недостаточно: предпочтительнее error/slow-aware tail sampling, сохраняющий ERROR и медленные traces плюс 10% обычных. Это рекомендация, не дополнительная реализованная политика. Для async Worker decision window должен учитывать очередь/retry и иметь ограниченную память. Для снижения именно CPU SDK или OTLP ingress sampling потребуется в SDK, с риском потерять ошибки ещё до Collector.
Качество и ограничения. Во всех прогонах HTTP errors, refused spans и failed span exports = 0; внутри on-окон delta SDK diagnostics = 0, максимум счётчика переполнения span batch queue = 0. До начала некоторых окон SDK diagnostics уже равнялся 4: startup/reconfiguration исключены из steady-state замеров. Разница accepted/sent в B до нескольких spans объяснима асинхронными границами и фоновыми health/outbox spans; counters не являются строгим аудитом всех возможных потерь SDK.
Closed-loop, один хост, три повтора, без CPU pinning и изоляции фоновой нагрузки. БД/S3 растут; порядок вариантов ротируется. В третьем повторе pipeline A/B занял 140.02/137.77s вместо примерно 64–80s в других прогонах; причина отдельно не профилировалась, результаты не удалялись. p99 отдельных прогонов: A 201.98–413.17ms, B 200.24–437.94ms, C 202.22–212.64ms. По медианному p99 нельзя доказывать, что C быстрее B; весь рост CPU% нельзя приписать SDK. Startup cost, точные OTLP bytes и backend CPU/RAM не измерялись. После завершения восстановлены SDK on и Collector 100%; API/observability smoke повторно прошли.
Воспроизведение:
python3 scripts/benchmark_telemetry.py --self-test
python3 scripts/benchmark_telemetry.py --requests 1000 --concurrency 4 --repetitions 3
Для Docker Snap при необходимости передать --compose /path/to/docker-compose
и --docker /path/to/docker. Скрипт восстанавливает baseline в finally.
Ограничения и следующие шаги
- API/Worker выдержали ограниченные остановки Worker, БД, S3 и telemetry backends с описанным восстановлением; это не HA-гарантия для БД, lb, MinIO или всего хоста. Persistent volumes заданы, но отдельный полный persistence/failover hook в lab6 не проверялся. Достижение availability SLO ≥99% за 30 минут отдельно не измерялось.
- Временные ошибки экспорта, переполнение bounded buffers и аварийный kill могут терять telemetry. SDK 1.21 не даёт точного счётчика потерь log batch queue; export failures/SDK diagnostics не являются строгим аудитом уникальных потерь.
- Queue depth — логические незавершённые jobs из PostgreSQL, не Redis XLEN. При отказе БД значения устаревают, что отмечается отдельным alert. PgPool metrics не включают dedicated connection observer. Worker последовательный, capacity=1.
- Low-cardinality allowlist и privacy canaries проверены для синтетического сценария; исчерпывающий privacy/security audit и длительный memory soak не проводились. Наблюдение RSS за 21.3s outage не заменяет длительный тест ограниченности памяти.
- Track 1 — closed-loop, один хост, 3 повтора без CPU pinning/изоляции фоновой нагрузки, с растущей БД/S3. Все результаты, включая медленные третьи прогоны, сохранены. Выводы относятся к этим лимитам/PNG/нагрузке, не к произвольному production.
- Подтверждено: Collector sampling уменьшает число отправленных в Tempo spans примерно на 89%, сохраняя metrics/logs; не подтверждено снижение CPU SDK, OTLP bytes или backend CPU/стоимости хранения в деньгах. Сохранение только 9 из 100 synthetic ERROR traces показывает отсутствие error-aware гарантии.
- Следующие шаги: отдельный хост/CPU pinning и более длинные повторы для устойчивой оценки overhead; измерение OTLP bytes и ingest/storage CPU; эксперимент с SDK sampling, если нужна экономия приложения. Error/slow-aware tail sampling с bounded memory и окном, учитывающим async queue/retry, остаётся рекомендацией и требует отдельной проверки. Также нужны длительный memory soak и полный аудит потерь.