Files
2026-11-16 16:08:15 +03:00
..
2026-11-16 16:08:15 +03:00
2026-11-16 16:08:15 +03:00
2026-11-16 16:08:15 +03:00
2026-11-16 16:08:15 +03:00
2026-11-16 16:08:15 +03:00
2026-11-16 16:08:15 +03:00

Лаба 6: запуск и диагностика

cp .env.example .env
# Задать локальные пароли в .env (в Git не добавлять).
docker compose up -d --build
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 4 --output evidence/load.json
python -X utf8 student-tests/observability.py --scenario all

Последняя команда создаёт синтетические данные и временно останавливает только сервисы текущего Compose-проекта. В finally запускает остановленные сервисы. Не запускать параллельно с другими проверками этого стенда. Volumes не удаляются. Санитизированные результаты сохраняются в evidence/observability.json.

Grafana: http://localhost:3000, пользователь admin, пароль GRAFANA_ADMIN_PASSWORD из .env. Dashboard Lab 6 / Messenger / Lab 6 и три datasource загружаются автоматически. Prometheus: http://localhost:9090; Loki API: порт 3100; Tempo API: 3200. Все опубликованные порты слушают только loopback, OTLP наружу не опубликован.

Collector принимает OTLP/HTTP от API, dispatcher и worker. Prometheus хранит метрики, Loki — логи, Tempo — трассы; Grafana обращается к этим хранилищам. История сохраняется в именованных volumes, retention — 72 часа. Версии закреплены в Compose и requirements.txt: OTel Python 1.38.0, semantic conventions 0.59b0 (зависимость SDK); наши имена метрик перечислены ниже. Это явная инструментация: auto-instrumentation, сбор SQL и HTTP headers отключены.

Сигналы

Prometheus name Единицы и смысл
http_requests_total Число бизнес-запросов; method, route template, status_class
http_duration_seconds Histogram полного HTTP-запроса, включая отдачу stream
jobs_processed_total Попытки обработки; job_type, outcome=ready/failed/skipped
job_duration_seconds Histogram времени попытки, без ожидания в очереди
attachment_time_to_ready_seconds Histogram от записи attachment до durable ready, включая retry
queue_depth Количество queued в PostgreSQL, включая outbox и отложенные retry
queue_oldest_age_seconds Возраст старейшего queued от момента приёма, не время обработки
queue_sample_timestamp_seconds Unix-время последнего успешного опроса очереди
db_pool_used, db_pool_waiting Занятые соединения / потоки, получающие соединение (ожидание + reconnect)
worker_busy, worker_capacity Число занятых consumer / лимит concurrency
process_memory_bytes, process_cpu_seconds_total RSS и CPU процесса
container_memory_bytes, container_cpu_seconds_total cgroup v2, включая дочерние процессы обработки

Histogram buckets, секунды: .005, .01, .025, .05, .1, .25, .5, 1, 2, 3, 5, 10, 30, 60, 120, 300, +Inf. Dashboard содержит PromQL, единицы и описания каждого графика. p50/p95/p99 считаются histogram_quantile по сумме buckets всех реплик. Метрики очереди отдаёт только dispatcher; это не длина Redis Stream (в нём ещё могут быть уже взятые сообщения). При недоступной БД sample становится устаревшим; возраст sample выведен отдельно, QueueLagHigh не использует stale data.

Resource: service.name, service.version=1.6.0, service.instance.id=hostname, deployment.environment.name=lab. API: messenger-api; worker и его дочерний процесс: messenger-worker; publisher: messenger-dispatcher. Дочерний процесс экспортирует только traces/logs, чтобы не создавать отдельные краткоживущие ряды метрик. Parent измеряет длительность попытки и результат после COMMIT. Метрики наблюдательные: авария после COMMIT до записи счётчика может потерять измерение, но не результат обработки. Предметных ID в labels метрик нет.

Связь сигналов

SERVER span API → traceparent/tracestate в transactional outbox → PRODUCER span dispatcher → W3C context в JSON сообщения Redis → CONSUMER span worker → context через окружение изолированного image process → S3/DB CLIENT spans. Retry публикует новый producer/consumer в той же трассе, с job.attempt. Baggage не переносится. Context сохранён в миграции 008, поэтому рестарт API не разрывает причинную связь.

Логи содержат timestamp/severity/service.name/event и trace_id/span_id активного span. http_request содержит ограниченный request_id, совпадающий с X-Request-Id ответа. Loki сохраняет технические поля как structured metadata; индексирует только service.name и окружение. Для корреляции достаточно request_id, trace_id и номера попытки: имена файлов и предметные ID не экспортируются.

В Grafana Explore / Loki:

{service_name="messenger-api"} | request_id="ЗНАЧЕНИЕ_X_REQUEST_ID"
{service_name=~"messenger-.*"} | trace_id="TRACE_ID"

Поле trace_id открывает Tempo; из Tempo доступен переход к логам. В трассе upload видны POST /api/v1/chats/{chat_id}/attachments, attachment-jobs publish, attachment-jobs process, image.process, s3.GetObject, s3.PutObject, db.SELECT/db.UPDATE. Исключения содержат только тип, без message/stack/SQL.

SLI/SLO и alerts

SLI доступности = 1 − число 5xx / число всех бизнес-запросов за скользящие 30 минут. SLO: не менее 99%. Health исключён из числителя и знаменателя; 4xx не считается отказом сервера. Без запросов SLI не оцениваем. Это учебное окно, а не месячный SLO.

ApiHighErrorRate: 5xx > 5% за 2 минуты, минимум 20 запросов, for: 20s. QueueLagHigh: queued > 0 и возраст > 30s, свежий sample, for: 15s. Пороги короткие для воспроизводимой локальной демонстрации; алерты не являются burn-rate исследованием. Rules вычисляет Prometheus; firing/pending видны в http://localhost:9090/alerts и на dashboard. После восстановления alert пропадает из instant ALERTS; история переходов остаётся в range query. Доставка наружу не настроена.

Queue lag

  1. Открыть queue depth/age и worker capacity/busy. Растущая очередь при отсутствии capacity означает остановку worker; свежий sample подтверждает доступность БД.
  2. В Loki найти job_published, затем открыть trace: producer есть, consumer ещё нет.
  3. docker compose start worker; дождаться job_processed outcome=ready, depth=0.
  4. Проверить, что QueueLagHigh больше не firing и в той же трассе появился consumer.

API errors

  1. При ApiHighErrorRate найти http_request со status_class=5xx и взять trace_id.
  2. В Tempo проверить db.acquire/db.SELECT: error.type и длительность покажут отказ подключения/БД. В Loki есть db_error/operation_failed. Медленный handler без отказа зависимости не имел бы ошибочного DB span. Посмотреть db_pool_waiting.
  3. Проверить PostgreSQL: docker compose ps postgres; восстановить docker compose start postgres, дождаться readiness и успешного бизнес-запроса.
  4. Через окно 2m error ratio снизится, alert перейдёт в resolved. Sample очереди тоже должен стать свежим. Сценарий проверки сохраняет трассу ошибочного запроса.

Недоступность telemetry backend

SDK: очереди по 512 spans/logs, batch 64, HTTP timeout 1s; metric export каждые 5s. Отправка выполняется в фоновых потоках. Collector: memory limiter 192 MiB, spike 48 MiB, container limit 256 MiB; batch ≤256 записей; отдельная очередь 32 batches / 2 consumers на Loki и Tempo; retry до 15s, timeout 2s, overflow не блокирует приём. Конечные ограничения защищают память, но допускают потерю телеметрии при длительном отказе. API и pipeline не зависят от готовности backend.

Сценарий backend останавливает Tempo, продолжает создавать сообщения и обрабатывать изображения, снимает RSS/очередь Collector, затем запускает Tempo и проверяет новую трассу. send_failed_spans может считать повторные попытки: его нельзя выдавать за число уникально потерянных spans. Для отдельного окна тест вычисляет accepted − sent после опустошения очереди (без рестартов Collector) и сохраняет эти дельты вместе с наблюдаемой памятью. Это потери уже принятых Collector spans; отброшенные до приёма SDK/receiver в этот счёт не входят. Prometheus всё это время работает, поэтому сохраняется история отказа и восстановления.

Первичные источники: Collector, native Loki OTLP, bounded exporter queues.