Files
mtusi2026lab6/docs/observability.md
T
2026-11-06 09:39:53 +03:00

8.7 KiB
Raw Blame History

Наблюдаемость и проверка lab6

Сигналы и назначение

API, worker и outbox отправляют OTLP/HTTP в Collector. Prometheus хранит метрики, Loki — логи, Tempo — трассы, Grafana предоставляет запросы и dashboard. Данные хранятся в именованных volumes, retention для Prometheus/Loki/Tempo — 7 дней. Grafana доступна на http://localhost:3000, пользователь admin, пароль находится в локальном secrets/grafana_password. Provisioning импортирует источники и dashboard Messenger — observability.

Сохраняются только выбранные поля логов; трассы не содержат SQL, аргументов запросов, заголовков авторизации, имён файлов и тел. Метрики не размечаются ID пользователей, чатов и вложений. В экспортируемых логах доступен request_id, а trace_id/span_id передаются полями OTLP. В Explore Loki запрос {service_name="messenger-api"} находит события API, {service_name="messenger-worker"} — worker; в метаданных события доступны ID трассы. По ним можно перейти в Tempo. Локальные stdout-логи содержат JSON с теми же trace/span ID для событий телеметрии.

При upload текущий W3C trace context сохраняется в attachment_jobs одной транзакцией с outbox. Dispatcher извлекает его и публикует сообщение с дочерним producer span и AMQP headers; worker извлекает контекст и создаёт consumer span. Повторная публикация и retry используют сохранённый контекст исходной загрузки. Каждая попытка имеет собственные spans; они являются потомками исходной транзакции загрузки. Baggage не переносится. Контекст — технические данные, не содержимое изображения.

Dashboard использует счётчики и гистограммы с единицами секунд: p50/p95/p99 HTTP вычисляются через histogram_quantile по сумме buckets, не по среднему перцентилей. messenger_job_ready_duration_seconds измеряет от времени создания записи о вложении в DB до фиксации ready; эта оценка включает время до commit принятия и не претендует на точную границу durable acceptance. Queue depth и age — число и возраст самого старого задания в состоянии queued из PostgreSQL, включая ожидающие retry; это не длина очереди RabbitMQ. Данные обновляет outbox. DB pool отражает пул каждой API-реплики; число ожидающих читается из внутренней очереди asyncpg 0.31.0 и зависит от этой версии. Worker busy/capacity — число занятых executor threads и их лимит; повторная доставка уже завершённой задачи учитывается как успешная обработка. CPU и RSS — процессы API/worker/outbox, без дочерних процессов render. При остановленном outbox queue gauge устаревает.

SLI: доля ответов 5xx среди всех HTTP бизнес-запросов API, исключая health. Целевой SLO: не менее 99% запросов без 5xx за скользящие 24 часа; ошибки балансировщика, которые не дошли до API, SLI не учитывает. Целевое значение выбрано для учебного стенда, а не по измеренным требованиям пользователей. Второй SLO и расчёт burn-rate описаны в runbook; его DB-счётчики учитывают и невыполненные в срок задания. Alert MessengerHighErrorRate срабатывает при >5% за минуту в течение 10 секунд; это оперативный порог, не burn-rate alert. MessengerQueueLag срабатывает при возрасте queued >30 секунд в течение 15 секунд. Состояния доступны в Prometheus через Grafana Explore или локальный API Prometheus внутри контейнера.

Collector использует memory limiter 192 MiB, batch до 1024 записей, очереди экспортёров по 128 batches и retry до 60 секунд; лимит контейнера 256 MiB. SDK использует ограниченные очереди spans/logs по 2048 и timeout экспорта 2 секунды. При долгом отказе хранилища возможна потеря телеметрии; это не должно блокировать бизнес-обработку. Наблюдайте внутренние метрики otelcol_exporter_queue_size, otelcol_exporter_send_failed_spans_total, otelcol_exporter_enqueue_failed_spans_total, otelcol_exporter_send_failed_log_records_total и otelcol_receiver_refused_*. Очереди не сохраняются после перезапуска Collector.

Проверки на локальном учебном стенде

Приведённые сценарии воспроизведены на локальном стенде; зафиксированные результаты и ограничения — в evidence/observability.md. Повторный запуск создаёт новые синтетические данные.

  1. Выполните python3 scripts/init-secrets.py, docker compose up -d --build, дождитесь readiness и запустите make test. В Grafana найдите событие API и worker, раскройте trace_id, проверьте дерево upload → DB/outbox → producer → consumer → S3/DB и убедитесь, что содержимое/credentials не попали в telemetry. Для повторной попытки используйте имеющийся fault injection worker и проверьте новую попытку в том же trace.
  2. Очередь: docker compose stop worker, затем python3 student-tests/queue_incident.py. Смотрите queue age и alert; после перехода в firing выполните docker compose start worker, дождитесь уменьшения backlog и resolved. Время и скриншоты/запросы сохраните в evidence.
  3. DB: начните python3 tests/load.py --duration 180 --concurrency 8 --output evidence/db-incident-load.json; после завершения bootstrap в отдельном терминале выполните docker compose exec -T postgres psql -U messenger -d messenger -c "BEGIN; LOCK TABLE users IN ACCESS EXCLUSIVE MODE; SELECT pg_sleep(90); COMMIT;". Наблюдайте задержку postgres.user_for_token, ошибки и alert; после окончания блокировки проверьте восстановление и resolved. Тест работает с синтетическими данными и намеренно мешает запросам.
  4. Отказ telemetry backend: docker compose stop tempo, затем make test и контролируемая нагрузка; сравните docker stats --no-stream, queue size и failed exports до/во время отказа. Восстановите docker compose start tempo и проверьте восстановление экспорта. Длительный отказ может привести к потере traces; измерьте её, а не предполагайте отсутствие потерь.

Для каждого сценария фиксируйте UTC-время воздействия, исходный профиль нагрузки, запросы метрик, firing/resolved, trace/log и результат после восстановления. docker compose down сохраняет volumes; не используйте down -v, если нужны сохранённые наблюдения.