9.2 KiB
Наблюдаемость и проверка lab6
Сигналы и назначение
API, worker и outbox отправляют OTLP/HTTP в Collector. Prometheus хранит метрики, Loki — логи, Tempo — трассы, Grafana предоставляет запросы и dashboard. Данные хранятся в именованных volumes, retention для Prometheus/Loki/Tempo — 7 дней. Grafana доступна на http://localhost:3000, пользователь admin, пароль находится в локальном secrets/grafana_password. Provisioning импортирует источники и dashboard Messenger — observability.
Сохраняются только выбранные поля логов; трассы не содержат SQL, аргументов запросов, заголовков авторизации, имён файлов и тел. Метрики не размечаются ID пользователей, чатов и вложений. В экспортируемых логах доступен request_id, а trace_id/span_id передаются полями OTLP. В Explore Loki запрос {service_name="messenger-api"} находит события API, {service_name="messenger-worker"} — worker; в метаданных события доступны ID трассы. По ним можно перейти в Tempo. Локальные stdout-логи содержат JSON с теми же trace/span ID для событий телеметрии.
При upload текущий W3C trace context сохраняется в attachment_jobs одной транзакцией с outbox. Dispatcher извлекает его и публикует сообщение с дочерним producer span и AMQP headers; worker извлекает контекст и создаёт consumer span. Повторная публикация и retry используют сохранённый контекст исходной загрузки. Каждая попытка имеет собственные spans; они являются потомками исходной транзакции загрузки. Baggage не переносится. Контекст — технические данные, не содержимое изображения.
Dashboard использует счётчики и гистограммы с единицами секунд: p50/p95/p99 HTTP вычисляются через histogram_quantile по сумме buckets, не по среднему перцентилей. messenger_job_ready_duration_seconds измеряет разность commit публикации ready и commit принятия задания из attachment_slo (миграция 009). Оба момента берутся из PostgreSQL; часы worker не участвуют. Гистограмма записывается после успешного commit: аварийное завершение worker между commit и записью метрики может потерять этот histogram sample; DB-когорта SLO при этом сохраняется. Queue depth и age — число и возраст самого старого задания в состоянии queued из PostgreSQL, включая ожидающие retry; это не длина очереди RabbitMQ. Данные обновляет outbox. DB pool отражает пул каждой API-реплики; число ожидающих читается из внутренней очереди asyncpg 0.31.0 и зависит от этой версии. Worker busy/capacity — число занятых executor threads и их лимит; повторная доставка без нового результата имеет outcome skipped, успешный commit — success, ошибка — failed. CPU и RSS — процессы API/worker/outbox, без дочерних процессов render. Queue-метрики имеют label queue="attachment.process.v1". messenger_queue_sample_time_seconds показывает время последнего успешного обновления; MessengerQueueTelemetryStale сигнализирует об устаревании/отсутствии ряда.
SLI: доля ответов 5xx среди всех HTTP бизнес-запросов API, исключая health. Целевой SLO: не менее 99% запросов без 5xx за скользящие 24 часа; ошибки балансировщика, которые не дошли до API, SLI не учитывает. Целевое значение выбрано для учебного стенда, а не по измеренным требованиям пользователей. Второй SLO и расчёт burn-rate описаны в runbook; его DB-счётчики учитывают и невыполненные в срок задания. Alert MessengerHighErrorRate срабатывает при >5% за минуту в течение 10 секунд; это оперативный порог, не burn-rate alert. MessengerQueueLag срабатывает при возрасте queued >30 секунд в течение 15 секунд. Состояния доступны в Prometheus через Grafana Explore или локальный API Prometheus внутри контейнера.
Collector использует memory limiter 192 MiB, batch до 1024 записей, очереди экспортёров по 128 batches и retry до 60 секунд; лимит контейнера 256 MiB. SDK использует ограниченные очереди spans/logs по 2048 и timeout экспорта 2 секунды. При долгом отказе хранилища возможна потеря телеметрии; это не должно блокировать бизнес-обработку. Наблюдайте внутренние метрики otelcol_exporter_queue_size, otelcol_exporter_send_failed_spans_total, otelcol_exporter_enqueue_failed_spans_total, otelcol_exporter_send_failed_log_records_total и otelcol_receiver_refused_*. Очереди не сохраняются после перезапуска Collector.
Проверки на локальном учебном стенде
Приведённые сценарии воспроизведены на локальном стенде; зафиксированные результаты и ограничения — в evidence/observability.md. Повторный запуск создаёт новые синтетические данные.
- Выполните
python3 scripts/init-secrets.py,docker compose up -d --build, дождитесь readiness и запуститеmake test. В Grafana найдите событие API и worker, раскройте trace_id, проверьте дерево upload → DB/outbox → producer → consumer → S3/DB и убедитесь, что содержимое/credentials не попали в telemetry. Для повторной попытки используйте имеющийся fault injection worker и проверьте новую попытку в том же trace. - Очередь:
docker compose stop worker, затемpython3 student-tests/queue_incident.py. Смотрите queue age и alert; после перехода в firing выполнитеdocker compose start worker, дождитесь уменьшения backlog и resolved. Время и скриншоты/запросы сохраните в evidence. - DB: начните
python3 tests/load.py --duration 180 --concurrency 8 --output evidence/db-incident-load.json; после завершения bootstrap в отдельном терминале выполнитеdocker compose exec -T postgres psql -U messenger -d messenger -c "BEGIN; LOCK TABLE users IN ACCESS EXCLUSIVE MODE; SELECT pg_sleep(90); COMMIT;". Наблюдайте задержкуpostgres.user_for_token, ошибки и alert; после окончания блокировки проверьте восстановление и resolved. Тест работает с синтетическими данными и намеренно мешает запросам. - Отказ telemetry backend:
docker compose stop tempo, затемmake testи контролируемая нагрузка; сравнитеdocker stats --no-stream, queue size и failed exports до/во время отказа. Восстановитеdocker compose start tempoи проверьте восстановление экспорта. Длительный отказ может привести к потере traces; измерьте её, а не предполагайте отсутствие потерь.
Для каждого сценария фиксируйте UTC-время воздействия, исходный профиль нагрузки, запросы метрик, firing/resolved, trace/log и результат после восстановления. docker compose down сохраняет volumes; не используйте down -v, если нужны сохранённые наблюдения.