21 KiB
Отчёт — лабораторная 6
- Автор, группа: Илья Тюнин, БВТ2303
- Целевая оценка: 5; трек 5: трек 1 «Цена наблюдаемости»
- Commit/PR: ветка
lab6, коммитыlab6: ...; PR — после публикации - Источники и помощь ИИ: код стенда и сценариев написан с помощью ИИ-агента (omp/Claude); первичные источники — документация Collector 0.128.0, Prometheus 3.4.1, Grafana 12.0.2, Loki 3.5.1, Tempo 2.8.1, OpenTelemetry JS SDK 2.0.1. Все числа ниже получены на этом стенде, старые цифры lab4/lab5 не использованы.
Запуск из чистого clone
Prerequisites: Docker 29.9.2, Compose 5.6.1, Python 3.9+ (проверено 3.14.8), openssl, свободные порты 8080, 8404, 9090, 3000 (loopback). Хост: 8 логических ядер, 15 GiB RAM, один хост.
make init-env # .env и secrets/* (в т.ч. grafana_admin_password); существующие не перезаписываются
docker compose --env-file .env config --quiet
make stand-up # up -d --build --wait (миграции — one-shot migrate)
make wait-ready && make test
python3 scripts/lab6/verify.py ready --backend-only
make lab6-ready lab6-correlate lab6-signals lab6-redaction lab6-history
make lab6-incident-worker lab6-incident-db lab6-incident-telemetry lab6-track1
Grafana: http://localhost:3000, пользователь admin, пароль — в файле secrets/grafana_admin_password (значение не публикуется). Prometheus: http://localhost:9090. Остальные backend-порты наружу не публикуются.
Безопасная остановка: make stand-down (тома сохраняются). Намеренное удаление учебных данных: docker compose --env-file .env down -v (удаляет все named volumes, включая историю телеметрии).
Dashboard JSON генерируются python3 scripts/lab6/gen_dashboards.py (и лежат в Git); правила проверяются promtool (команды в evidence/lab6/summary.md).
Версии: Collector contrib 0.128.0@sha256:1ab0baba…, Prometheus v3.4.1@sha256:9abc6cf6…, Loki 3.5.1@sha256:a7459453…, Tempo 2.8.1@sha256:bc9245fe…, Grafana 12.0.2@sha256:b5b59bfc…, HAProxy 3.2-alpine@sha256:254e6370… (3.2.26, USE_PROMEX=1 подтверждён haproxy -vv), RabbitMQ 4.1.8-alpine (плагин rabbitmq_prometheus). SDK: @opentelemetry/sdk-trace-base|sdk-metrics|resources|core 2.0.1, exporters/logs 0.203.0, api 1.9.0, semantic-conventions 1.45.0; app image mtusi-messenger:lab6 (sha256:825b6a72…). Полные digest — compose.yaml.
Архитектура и решения
API ×2 и worker → OTLP/HTTP (protobuf) → Collector (memory_limiter 204 MiB → attributes/scrub → batch) → Tempo (traces, OTLP gRPC), Loki (logs, OTLP), Prometheus (metrics, OTLP receiver) → Grafana. Collector не долговременное хранилище; каждое хранилище имеет named volume и retention 7 дней. Метрики API/worker приходят только по OTLP; HAProxy (PROMEX :8404/metrics), RabbitMQ (:15692), Loki, Tempo и сам Collector — scrape. Приложение не зависит от Collector (depends_on нет): evidence/lab6/no-collector-start.txt.
Изменения в коде приложения: (1) trace_sampled в stdout JSON и OTLP-атрибутах лога (из traceFlags), чтобы отличать намеренный sampling от потери; (2) time_to_ready теперь записывается в момент commit ready (до post-commit fault, ACK и cleanup) от job.created_at — транзакционной метки durable acceptance (остаточная погрешность — время до COMMIT; жёсткий crash по-прежнему может потерять неэкспортированную телеметрию). Спеки: logger.spec.ts, job-processor.service.spec.ts.
Найденные дефекты стенда: при отсутствующем Collector DNS-lookup otel-collector блокировал пул libuv на 5–7 с и давал 503 (исправлено UV_THREADPOOL_SIZE=32 и dns_opt timeout:1 attempts:1 у api/worker); s3-init убивался OOM на 128m (лимит 256m).
Соответствие .env.example → конфигурация: управляющие OTEL_*/LOG_LEVEL явно прокинуты в api.environment/worker.environment (OTEL_SERVICE_NAME — литералы messenger-api/messenger-worker); лимиты backend — OTELCOL_*, PROMETHEUS_*, LOKI_*, TEMPO_*, GRAFANA_*.
Таблица сигналов (живой стенд, evidence/lab6/signals.json, metric-names.txt)
| Логический сигнал | Метрика | Labels | Unit |
|---|---|---|---|
| HTTP count/duration | http_server_request_duration_seconds_{count,bucket,sum} |
http_request_method, http_route, http_response_status_code |
s |
| Jobs | messenger_jobs_processed_total |
job_type, outcome (succeeded/retry/failed/…) |
{job} |
| Job duration | messenger_job_duration_seconds_* |
job_type, outcome |
s |
| Time to ready | messenger_attachment_time_to_ready_seconds_* |
job_type |
s |
| Queue depth / oldest age | messenger_jobs_queue_depth, messenger_jobs_queue_oldest_age_seconds |
state / — |
{job} / s |
| Outbox | messenger_outbox_pending, messenger_outbox_oldest_age_seconds |
— | {message} / s |
| DB pool | db_client_connection_count/max/pending_requests, db_client_connection_wait_time_seconds_* |
db_client_connection_state, pool_name |
{connection} / s |
| DB операции | db_client_operation_duration_seconds_* |
db_operation_name, db_query_summary |
s |
| Worker | messenger_worker_jobs_active, messenger_worker_jobs_capacity |
— | {job} |
| Broker publish | messenger_broker_published_total |
outcome |
{message} |
| Экспорт телеметрии | messenger_telemetry_export_items_total |
signal (traces/logs), outcome (success/failed) |
{item} |
| Process | process_cpu_time_seconds_total, process_memory_usage_bytes, v8js_memory_heap_used_bytes, nodejs_eventloop_delay_p99_seconds |
cpu_mode |
s / By |
Запрещённых labels (user/chat/message/attachment/request id, URL, filename) нет; route — шаблон /api/v1/chats/{chat_id}/messages. Buckets из instruments.ts: HTTP 5 мс…30 с (0.25 с — граница), jobs 0.05…120 с, time-to-ready 0.25…600 с. Границы измерений: queue age — возраст старейшей незавершённой задачи (PostgreSQL, snapshot обеих реплик, агрегируется max); time-to-ready — acceptance→commit ready.
Propagation: W3C traceparent в AMQP-заголовках; цепочка HTTP SERVER → DB CLIENT/jobs.accept_upload → PRODUCER publish → CONSUMER process (worker, parent = PRODUCER) → S3/DB CLIENT; retry — отдельные CONSUMER-spans в той же трассе с messenger.job.attempt 1,2,3… (correlation-*.json).
SLI и alerts
SLI availability = (все бизнес-запросы − 5xx) / все бизнес-запросы, job="messenger-api", http_route!~"/health.*|/internal/.*", окно 5m, цель ≥99.5% (учебная). 4xx — good. Без трафика — N/A. Правила: infra/prometheus/rules/{recording,alerts}.yml, тесты infra/prometheus/tests/alerts.test.yml (SUCCESS). Alerts: MessengerApiHighErrorRate (>5% при >0.1 rps, for 30s), MessengerJobsQueueLagGrowing (max oldest age >30 s и max depth ready|delayed >0, for 30s). Runbooks: docs/runbooks/MessengerApiHighErrorRate.md, …/MessengerJobsQueueLagGrowing.md.
Доказательства критериев
Evidence — под evidence/lab6/; навигация — evidence/lab6/summary.md.
| Критерий | Команда | Фактический результат | Файл |
|---|---|---|---|
| 3: smoke | make test |
PASS (с телеметрией и без Collector) | regression/check-validate-test.txt, no-collector-start.txt |
| 3: Collector+3 хранилища+Grafana в стенде, конфиги в Git, volumes | make stand-up; verify.py ready |
PASS; три datasource, 2 rules, 2 dashboard загружены provisioning | ready.json |
| 3: OTLP метрики/логи/трассы API и worker, RPS/errors/duration, jobs | make lab6-signals |
PASS, 23 логических сигнала, оба сервиса | signals.json, metric-names.txt |
| 3: нет секретов/тел в telemetry | make lab6-redaction |
PASS: 677 элементов просканировано, 0 утечек, coverage полный | redaction.json/.txt |
| 3: запрос → trace ↔ лог; job → worker trace и лог | make lab6-correlate |
PASS | correlation-http.json, correlation-upload.json |
| 3: UI | Grafana в owned Chromium: dashboards, log→trace, trace→logs, DB span | 7 просмотренных скриншотов | screenshots/ |
| 4: W3C context, retry, S3/DB | make lab6-correlate |
attempts 1,2,3 разные span ID; failed — terminal | correlation-retry.json, correlation-failed.json |
| 4: p50/p95/p99, errors, queue, pool, saturation | dashboard messenger-overview |
панели с запросами и units | infra/grafana/dashboards/ |
| 4: SLI/SLO, 2 alerts | promtool test rules + incidents |
firing→resolved в обоих инцидентах | incident-worker.json, incident-db.json |
| 4: memory_limiter/batch/очереди, outage backend | make lab6-incident-telemetry |
PASS ×2 (Tempo, Collector) | incident-telemetry-1/2.json |
| 4: два инцидента + диагностика | make lab6-incident-worker lab6-incident-db |
PASS | incident-*.json |
| 5: трек 1 | make lab6-track1 |
PASS, p25 выбран и провалидирован | track1/ |
| История/persistence backend | make lab6-history |
старые sample/log/trace читаются после restart | history.json |
| Регрессия lab1–5 | make check validate test test-e2e test-dependencies test-persistence test-failover lab5-demo; npm test |
PASS: e2e 44 passed/9 skipped; dependencies 7/7; persistence (hook рестартует и postgres redis s3 broker api worker haproxy, и otel-collector prometheus loki tempo grafana); failover (0 failed attempts, recovery 3.3 s); lab5-demo; npm 89/89 | regression/ |
| Холодный старт | отдельный clone коммита d558148, проект lab6-cold, порты 18080/18404/15432/16379/19000/19091/13000 (19090 занят чужим процессом) |
make stand-up, test, lab6-ready, lab6-correlate, lab6-signals PASS; dashboards/datasources появились автоматически; проект удалён down -v только для lab6-cold |
cold-start/ |
Эксперименты и отказы
Инциденты (время UTC, incident-*.json)
| Воздействие | Ожидали | Наблюдали | Восстановление |
|---|---|---|---|
| Worker остановлен при 20 rps, 1 upload/s | рост возраста очереди, HTTP работает | возраст 75.8 с (пик), depth 66 на реплику (max=66, не 132); inject 20:05:22 → pending 20:06:17 → firing 20:06:47; HTTP 5xx=0; time-to-ready max 85 с против baseline |
worker вернули сразу; drain 20:07:11, resolved 20:07:21 |
Блокировка attachments (ACCESS EXCLUSIVE) при 2 upload/s |
реальные 5xx, error alert | 88 из 161 запросов 5xx; inject 20:09:11 → firing 20:10:21; INSERT attachments p95 9.75 с (статут-таймаут 5 с); в трассе 5xx INSERT attachments 5000 мс, handler gap 1.5 мс; pool pending=0 (рост не ожидался) |
lock снят 20:10:21; resolved 20:11:31 |
Контроль handler-delay (20 uploads с delay:500) |
задержка вне DB | сдвиг handler gap +500 мс (медиана), DB-время не изменилось (7.04→6.83 мс), все ключи потреблены, HTTP 202 | — |
| Tempo остановлен на 90 с (×2) | Collector retry/failures, API работает | send_failed_spans +720…758, queue max 82–83 ≤128, Collector RSS ≤214 MiB, logs/metrics продолжали идти, make test PASS внутри окна |
трассы и логи вернулись (resume probe 10/10); потеря SERVER roots на probe 5–6 из 100 |
| Collector остановлен на 90 с (×2) | SDK ограничен, API работает | app export failed +10.8k items; stdout http.request писался без Loki; на probe 99 из 100 SERVER spans из окна потеряно (export timeout 5 с, затем drop); 15–16 сообщений SDK о диагностике очереди (учитываются отдельно) |
все три сигнала возобновились; OOM/restart нет |
Объяснение: Collector down — SDK не буферизует долго (BSP очередь 2048, timeout 5 с): потеря телеметрии измерена, бизнес-ошибок нет. Tempo down — потери ограничены очередью Collector 128 export-requests и retry 30 с.
Трек 1: «Цена наблюдаемости»
Гипотеза. Head sampling 25% при полных logs/metrics сокращает объём trace-ingest ≥2× (до ≤50% full), не ухудшает p95 более чем на 10% и сохраняет хотя бы по одной error- и slow-трассе в каждом повторе, но не гарантирует сохранение всех редких событий.
Методика (заморожена в scripts/lab6/track1.py). Один набор реплик (2 API + 1 worker, лимиты неизменны), режимы off (OTEL_SDK_DISABLED=true), full (ratio 1), p25, p10; stdout-логирование включено и в off. Open-loop генератор (workload.py): слот i в t0+i/rate, без догона; in-flight ≤64, client_dropped остаётся в знаменателе; 19 из 20 слотов — POST message (lab6-track1), каждый 20-й — upload sample.png; нет traceparent от клиента. Калибровка 20→10→5 rps: выбран первый, прошедший критерии — 20 rps. Матрица 3 повтора × 4 режима в сбалансированном порядке; прогрев 60 с, замер 180 с; docker stats и docker top каждые 5 с; ingest — дельты cumulative counters Collector (spans / log records / metric points отдельно, deltas на completed операции). Диагностические cohorts отдельно от healthy: 40 slow uploads (delay:500, ключ потреблён, ожидаемо 202) и 40 app-error запросов (SQL lock на messages, 4 rps ×10 с, ожидаемо серверные 5xx), сверка stdout → Loki и stdout span_id → Tempo SERVER span. Классы: intentional_unsampled, sampled_present, sampled_missing, missing_exported_logs, неполные наблюдения — не потери. Логика — measurement.py, тесты test_measurement.py (18, stdlib).
Результаты (track1/matrix.json, медианы трёх повторов; все 12 runs protocol-valid, configuration_failures пусты; raw — track1/runs/*/{summary.json,requests.jsonl,docker-stats.jsonl,cohorts.json}):
| Режим | scheduled p95, мс | API CPU % (сумма реплик) | API container mem, MiB | spans/операцию | log rec/оп. | metric pts/оп. | kept error / slow (из 40, по run) |
|---|---|---|---|---|---|---|---|
| off | 15.27 | 7.78 | 239.5 | 0 | 0 | 0 | n/a |
| full | 13.38 | 6.04 | 282.7 | 4.90 | 1.05 | 0.524 | 40 / 40 |
| p25 | 12.66 | 5.54 | 282.4 | 1.23 (−74.9% к full) | 1.05 | 0.522 | 6–13 / 8–9 |
| p10 | 13.54 | 5.98 | 278.5 | 0.47 (−90.4% к full) | 1.05 | 0.535 | 4–5 / 4–6 |
Относительно off: full — API container mem +18.0%, RSS +20.6%; p25 +17.9% / +20.3%. Latency и CPU в on-режимах ниже, чем в off (−12…−17% p95): это не «выигрыш от телеметрии», а шум измерений при ~12–16 мс p95 и порядке прогонов на одном загруженном хосте (host/generator contention); вывод — на этой нагрузке измеримой цены по latency/CPU у телеметрии нет, различие статистически не разделено, цена видна по RAM (+≈43 MiB на API) и ingest. Потери export/enqueue/OOM/restart в healthy и cohorts — 0, sampled_missing и missing_exported_logs — 0 во всех режимах: sampling не терял экспортированные логи, а ошибки/медленные запросы терялись только намеренно (флаг trace_sampled=false).
Редкие события (модель независимого root sampling, не измерение): p25 при N=40 вероятность пропустить все (0.75)^40 = 1.0e-5; p10 (0.9)^40 = 1.5%. Фактически kept: p25 error 25/120, slow 25/120 (≈21% при ratio 0.25); p10 error 13/120, slow 15/120. Т.е. p25 сохраняет в каждом повторе несколько error/slow-трасс, но ~3/4 из них теряет намеренно.
Выбор. p25: критерии приёмки пройдены (selected.json: все 6 проверок True: valid-clean, ≥1 error и slow в каждом run, 0 missing, spans ≤50% full, p95 ≤110% full). Независимая проверка на свежем run (track1/validation/p25, selected-validation.json): PASS против зафиксированного full-reference (1.39 spans/op ≤ 50% от 4.9; p95 13.27 мс ≤ 110% от 13.38). Это компромисс, не гарантия: любую конкретную редкую ошибку p25 сохраняет с вероятностью ≈25%.
Дефект, найденный регрессией
make test-dependencies (остановленный postgres/S3) сначала падал: из-за dns_opt timeout:1 attempts:1 остановленный сервис давал EAI_AGAIN, который приложение отдавало 500 вместо 503. Исправлено добавлением EAI_AGAIN в UNAVAILABLE_ERROR_CODES (api-exception.filter.ts); после этого 7/7. Замеры трека 1 и инциденты сняты на образе до этой правки; она влияет только на путь недоступной зависимости, не на healthy-путь.
Ограничения и следующие шаги
- Один хост (8 ядер, 15 GiB, занят другими контейнерами), фиксированный синтетический workload 20 rps, короткие окна 180 с, три повтора; p95 ~13 мс близок к шуму, поэтому различия latency/CPU между режимами не интерпретируются как эффект телеметрии.
- Stdout-логирование включено в off; ingest включает фоновую телеметрию (метрики каждые 10 с); потери SERVER-spans измерены только для корневых spans, не для всех дочерних; кросс-проверка Tempo при Collector-outage — выборка 100 запросов.
- Cohorts обогащены искусственно (40 slow, 40 error), это не оценка частоты в production. Tail sampling и burn-rate/длительное наблюдение ложных срабатываний не делались (вне трека 1).
- Hard crash процесса теряет ещё не экспортированную телеметрию; метрики не durable. Collector down: SDK теряет данные после 5 с timeout (измерено).
- Внешняя доставка alerts не реализована (не требуется). OTLP без TLS внутри compose-сети (lab7).