Files

18 KiB
Raw Permalink Blame History

Лабораторная 6: наблюдаемость

Агапов, БПИ2303. Целевой уровень — 5, трек 2: SLO и обнаружение инцидентов. Оценка не выставлена. Бизнес-контракт lab5 сохранён.

Запуск

Нужны Go 1.26.1, Docker, Helm, kubectl, jq, openssl, Ruby и Python 3.9+ для неизменённых публичных тестов. Native worker использует cwebp; в контейнере установлен libwebp-tools. Все образы закреплены в chart по digest.

export GOTOOLCHAIN=go1.26.1
make check chart-check
make test-local
LOCAL_COVERAGE=true scripts/test-local.sh
# Учебный dev: секрет registry берётся из ~/.secrets/twc-registry-token.
make init-secrets
make deploy
make test BASE_URL=https://hl.agapov.space

Один Helm release lab2, namespace highload-applications, context dev. Ingress Traefik — https://hl.agapov.space, issuer letsencrypt-prod. Добавлены Collector, Prometheus, Loki, Tempo и Grafana; прежние API/worker/PostgreSQL/Valkey/S3/broker и PVC сохранены. Migration и S3 bootstrap выполняются идемпотентными Jobs. Registry image обновляется через make build-push TAG=<revision> и перенос digest в values. --reset-values исключает неявное использование образа предыдущей лабы.

Настройки и соответствие .env.example. Матрица контрактов. Kubernetes заменяет требуемый заданием Compose/Swarm; подтверждение преподавателя на такую замену остаётся открытым вопросом. Наличие работающего dev не доказывает формальное принятие этой замены.

Grafana закрыта внутри кластера. Доступ:

kubectl --context dev -n highload-applications port-forward svc/messenger-grafana 3000:3000
# В другом терминале: прочитать пароль только для своего локального входа.
kubectl --context dev -n highload-applications get secret messenger-grafana -o jsonpath='{.data.password}' | base64 --decode

Открыть http://localhost:3000, username admin. Пароль генерируется один раз; не хранить вывод в отчёте/логах. Dashboard Messenger: API, worker and SLO и три datasource создаются provisioning. Остановка port-forward не останавливает приложения. helm uninstall lab2 намеренно удаляет учебные workloads всего общего release, поэтому это не обычный способ остановки одной лабы. PVC остаются; для намеренного удаления данных выбирать конкретные учебные PVC после проверки владельца. Общий namespace удалять нельзя.

Архитектура

API/worker → OTLP HTTP/protobuf → Collector → Prometheus (метрики), Loki (структурные логи), Tempo (трассы) → Grafana (запросы и отображение). Collector не является долговременной БД. Prometheus/Loki/Tempo сохраняют данные на PVC, retention — 24 часа; Grafana хранит настройки на своём PVC.

SDK trace/metric 1.38.0, log 0.14.0; Collector contrib 0.135.0, Prometheus 3.5.0, Loki 3.5.5, Tempo 2.8.2, Grafana 12.1.1. Точные версии зависимостей — go.mod; digest образов — values.yaml. Resource attributes: service.name=messenger-api/worker, service.version=lab6, service.instance.id=уникальный ID процесса, deployment.environment.name=lab. Метрики — собственные имена, единицы ниже; W3C TraceContext без baggage.

Контекст запроса сохраняется вместе с SQL outbox; producer inject помещает дочерний контекст в Streams. Worker извлекает его для consumer span, вложенные S3/SQL spans показывают реальные операции. Retry сохраняет исходную причинную связь. SQL и параметры, ключи S3, filename, тела, пароли и токены не экспортируются. Логи содержат timestamp/severity/event/outcome и trace/span IDs; HTTP-событие также request_id. Метрики не содержат пользовательские UUID или request_id. Число service.instance.id растёт при рестартах и ограничивается retention; это не бизнес-идентификатор.

Конструкторы не проверяют доступность telemetry backend; readiness зависит от синхронных бизнес-зависимостей PostgreSQL/Valkey/S3. OTLP не участвует в успехе business commit. SDK очереди trace/log — 256 записей, batch 64, timeout 1 s, retry отключён. Метрики экспортируются раз в 5 s. Collector memory limiter 192 MiB/spike 48 MiB, batch 128/max256; exporter queues 256 batches, два consumers, retry максимум 30 s. Переполнение/отказ допускает потерю telemetry, а не бесконечное накопление. SDK/Collector shutdown ограничен lifecycle deadline.

Сигналы и запросы

Имя Prometheus Значение/единица
messenger_http_requests_total Количество запросов; method, route template, status_class
messenger_http_duration_seconds_* Histogram длительности HTTP handler в секундах; streaming download может завершиться позже, его S3 span живёт до Close
messenger_jobs_total Реальные попытки worker, job_type/outcome; duplicate без lease не считается обработкой
messenger_job_duration_seconds_* Время попытки обработки, секунды
messenger_ready_duration_seconds_* От durable SQL acceptance до подтверждённой публикации ready, секунды
messenger_queue_depth / messenger_queue_oldest_seconds Текущие незавершённые SQL jobs / возраст старейшей; max по наблюдателям, не sum дублированных снимков
messenger_db_pool_used / messenger_db_pool_waiting Соединения конкретного процесса / ожидающие acquire
messenger_worker_busy / messenger_worker_capacity Занятость / одна job на процесс
messenger_process_cpu_seconds_total Накопленное CPU time; rate даёт CPU cores
messenger_process_peak_rss_bytes Максимальный RSS процесса, bytes; это не мгновенный RSS

p95: histogram_quantile(0.95, sum by (le) (rate(messenger_http_duration_seconds_bucket[1m]))). Аналогично p50/p99; percentiles реплик не усредняются. Для RPS — sum(rate(messenger_http_requests_total[1m])). Dashboard JSON содержит точные запросы и единицы всех 14 panels. Реальные имена dev, цели scrape.

SLO и правила

Учебное целевое окно SLO — rolling 24 h. API availability ≥99%: 1 - 5xx / все business requests, исключены health/metrics, ошибки клиента остаются в denominator. Ready ≥95% завершённых jobs за ≤60 s от durable acceptance. Это latency SLI завершений: зависшие и terminal failed не входят в него, поэтому обязательный дополнительный alert queue lag закрывает слепую зону незавершённой работы. Эти цели выбраны для небольших учебных PNG/JPEG при доступных зависимостях, не являются подтверждённым production SLA.

Для демонстрации обнаружения используются два окна 1 m/5 m одновременно и for=30s. API error ratio >5% означает burn >5 относительно бюджета 1%; доля completed jobs >60 s больше25% — burn >5 относительно бюджета5%. Queue lag: oldest>60 s при depth>0, for15s. Полный день измерений не собирался; проверено поведение alerts в коротком контролируемом эксперименте. Условия и ограничения можно воспроизвести из rules.

Эксперимент и диагностика

29.10.2026, Apple Silicon, native API/worker + Docker Desktop. Две API, один worker, два клиента с паузой250ms; polling alerts раз5s. Нагрузка синтетическая, без Kubernetes CPU/memory limits; один проход и отдельный повтор исправленного ready alert. Гипотеза: multiwindow/for отсекают короткий всплеск, но выявляют устойчивый отказ и накопление jobs, а отказ Tempo не блокирует business API.

Raw HTTP, события и alert snapshots, агрегаты, график. Длительности определяются по журналу событий; точность обнаружения порядка5s плюс export/scrape задержки. Фаза HTTP назначается перед запросом, поэтому переходные запросы могут пересекать границу воздействия.

Воздействие Реальное наблюдение
PostgreSQL pause5s 19/19 запросов фазы завершились ошибкой; API burn не firing ни во всплеске, ни в следующем91s восстановления
PostgreSQL pause122s 552/552 ошибок; API burn firing через137s от начала, то есть через15s после снятия отказа. Resolved через51s после восстановления. Задержка показывает ограничение окон/export/for, а не мгновенное обнаружение
Worker STOP113s, 20 uploads 734 запросов истории без ошибок; queue lag firing через87s от остановки, resolved через10s после CONT. Итоговый backlog0
Tempo stop46s 328 запросов истории,0 ошибок, p95=23.36ms; полноценный smoke с upload/message/thumbnail прошёл. Зафиксированы136 failed span deliveries, очередь после восстановления0

Во время основной серии пик RSS трёх процессов:30736/45600/46240KiB; CPU от0:00.09/0:00.10/0:00.10 до0:01.95/0:04.72/0:04.38. Единственный snapshot Collector:66.68MiB, CPU0.93%; это snapshot, не доказанный глобальный максимум памяти. Ограничение очередей дополнительно проверено кодом/config и тестом2000spans против недоступного OTLP. Количество failed deliveries не равнозначно точному числу безвозвратно потерянных уникальных spans.

Первый запуск выявил ошибку ready rule: selector le="60" не совпадал с экспортированным 60.0. Исправление принимает обе формы. Повтор с настоящим STOP/CONT: очередь firing через86s от остановки и resolved через10s после CONT; ready burn firing через41s после CONT, resolved через66s после CONT. Результат. promtool regression дополнительно проверяет короткий/длительный error rate и canonical bucket. Первоначальная проверка полного сценария завершилась ненулевым кодом: assertion ожидал API firing до снятия отказа. Raw данные сохранены; текущий сценарий учитывает lagged detection и использует180s длительного отказа. Полный сценарий после этого изменения заново не запускался.

Runbook:

  1. Открыть API errors/p95 и queue oldest/depth. Если выросли5xx, найти error trace и HTTP request_id в Loki.
  2. В DB outage trace проверить postgres.acquire/query: около1s и error, безопасное сообщение operation failed. Это указывает на storage path, а не на decode изображения. Проверить доступность БД/pool, восстановить зависимость, наблюдать уменьшение error ratio; alert снимается с задержкой окна.
  3. Если HTTP работает, но растёт queue age при нулевой занятости, проверить worker process/replicas и последние consumer logs. Возобновить worker; дождаться depth0 и resolved. После накопленной задержки ready burn некоторое время остаётся firing — это ожидаемая память окна.
  4. Если Collector send_failed/queue растут, а business RPS стабилен, проверить Tempo/Loki и их PVC. Не включать их в readiness API. После восстановления проверить exporter queue0 и свежие traces; уже потерянные spans восстановить нельзя.

Доказательства и повторение

export LOCAL_TELEMETRY_STATE=/tmp/messenger-telemetry.env
scripts/telemetry-local.sh
. "$LOCAL_TELEMETRY_STATE"
OBSERVABILITY_TESTS=true scripts/test-local.sh
RETRY_TRACE_TEST=true scripts/test-local.sh
scripts/telemetry-local.sh down

Скрипт down удаляет только контейнеры/данные, созданные указанным локальным state file. Не использовать state file от другого стенда. Сценарии не останавливают dev workloads. Native source snapshot — хэши, образ — build metadata. Первый длинный эксперимент выполнен до дополнительной проверки входной telemetry configuration; instrumentation/бизнес-путь не менялись. Повтор ready и проверки dev используют исправления.

Критерий Доказательство
Бизнес API, failover, persistence, очередь переживает restart evidence/local/smoke.txt, failover.txt, persistence.txt, durable.txt; реальные действия в actions.txt
API→producer→consumer→S3/SQL + logs evidence/current/correlated-trace.json, correlated-logs.json; dev-correlation.txt
Retry после настоящего S3 pause retry-trace.json: первый consumer error15s, следующий успешен; retry-result.json. Assertion enum исправлен и перепроверен по сохранённому trace
Метрики/provisioning/live datasource dev-dashboard.json, dev-datasources.jsonl, dev-tempo-health.txt
Race и каждый Go-файл≥90% coverage-per-file.json, coverage.txt; lint.txt, static.txt
Burn/queue alerts и восстановление evidence/incidents и evidence/ready-slo; alert-rule-tests.txt
Dev upgrade и HTTPS smoke dev-deploy-final.txt: release lab2 revision45; dev-smoke.txt; dev-pods.txt

Remote CI не проверялся; локальные результаты не заменяют зелёный pipeline Gitea. Нет HA telemetry backend/PostgreSQL/S3 и восстановления после потери узла/диска. Фиксированная частота sampling1 предназначена для учебной нагрузки; при большой нагрузке её следует отдельно исследовать. Рост RAM на бесконечном горизонте экспериментом не доказан; архитектурные очереди и Kubernetes memory limits конечны.

Источники

OTel Go, Collector, Loki OTLP, обязательные контракты этого репозитория. При реализации использовалась помощь ИИ. Измерения и ограничения указаны отдельно от проектных гарантий.