Лаба 6: запуск и диагностика
cp .env.example .env
# Задать локальные пароли в .env (в Git не добавлять).
docker compose up -d --build
python -X utf8 tests/smoke.py --base-url http://127.0.0.1:8080
python -X utf8 tests/load.py --base-url http://127.0.0.1:8080 --duration 30 --concurrency 4 --output evidence/load.json
python -X utf8 student-tests/observability.py --scenario all
Последняя команда создаёт синтетические данные и временно останавливает только
сервисы текущего Compose-проекта. В finally запускает остановленные сервисы.
Не запускать параллельно с другими проверками этого стенда. Volumes не удаляются.
Санитизированные результаты сохраняются в evidence/observability.json.
Grafana: http://localhost:3000, пользователь admin, пароль GRAFANA_ADMIN_PASSWORD
из .env. Dashboard Lab 6 / Messenger / Lab 6 и три datasource загружаются
автоматически. Prometheus: http://localhost:9090; Loki API: порт 3100; Tempo API:
3200. Все опубликованные порты слушают только loopback, OTLP наружу не опубликован.
Collector принимает OTLP/HTTP от API, dispatcher и worker. Prometheus хранит метрики, Loki — логи, Tempo — трассы; Grafana обращается к этим хранилищам. История сохраняется в именованных volumes, retention — 72 часа. Версии закреплены в Compose и requirements.txt: OTel Python 1.38.0, semantic conventions 0.59b0 (зависимость SDK); наши имена метрик перечислены ниже. Это явная инструментация: auto-instrumentation, сбор SQL и HTTP headers отключены.
Сигналы
| Prometheus name | Единицы и смысл |
|---|---|
http_requests_total |
Число бизнес-запросов; method, route template, status_class |
http_duration_seconds |
Histogram полного HTTP-запроса, включая отдачу stream |
jobs_processed_total |
Попытки обработки; job_type, outcome=ready/failed/skipped |
job_duration_seconds |
Histogram времени попытки, без ожидания в очереди |
attachment_time_to_ready_seconds |
Histogram от записи attachment до durable ready, включая retry |
queue_depth |
Количество queued в PostgreSQL, включая outbox и отложенные retry |
queue_oldest_age_seconds |
Возраст старейшего queued от момента приёма, не время обработки |
queue_sample_timestamp_seconds |
Unix-время последнего успешного опроса очереди |
db_pool_used, db_pool_waiting |
Занятые соединения / потоки, получающие соединение (ожидание + reconnect) |
worker_busy, worker_capacity |
Число занятых consumer / лимит concurrency |
process_memory_bytes, process_cpu_seconds_total |
RSS и CPU процесса |
container_memory_bytes, container_cpu_seconds_total |
cgroup v2, включая дочерние процессы обработки |
Histogram buckets, секунды: .005, .01, .025, .05, .1, .25, .5, 1, 2, 3, 5, 10,
30, 60, 120, 300, +Inf. Dashboard содержит PromQL, единицы и описания каждого
графика. p50/p95/p99 считаются histogram_quantile по сумме buckets всех реплик.
Метрики очереди отдаёт только dispatcher; это не длина Redis Stream (в нём
ещё могут быть уже взятые сообщения). При недоступной БД sample становится
устаревшим; возраст sample выведен отдельно, QueueLagHigh не использует stale data.
Resource: service.name, service.version=1.6.0, service.instance.id=hostname, deployment.environment.name=lab. API: messenger-api; worker и его дочерний процесс: messenger-worker; publisher: messenger-dispatcher. Дочерний процесс экспортирует только traces/logs, чтобы не создавать отдельные краткоживущие ряды метрик. Parent измеряет длительность попытки и результат после COMMIT. Метрики наблюдательные: авария после COMMIT до записи счётчика может потерять измерение, но не результат обработки. Предметных ID в labels метрик нет.
Связь сигналов
SERVER span API → traceparent/tracestate в transactional outbox → PRODUCER span
dispatcher → W3C context в JSON сообщения Redis → CONSUMER span worker → context
через окружение изолированного image process → S3/DB CLIENT spans. Retry публикует
новый producer/consumer в той же трассе, с job.attempt. Baggage не переносится.
Context сохранён в миграции 008, поэтому рестарт API не разрывает причинную связь.
Логи содержат timestamp/severity/service.name/event и trace_id/span_id активного
span. http_request содержит ограниченный request_id, совпадающий с
X-Request-Id ответа. Loki сохраняет технические поля как structured metadata;
индексирует только service.name и окружение. Для корреляции достаточно request_id,
trace_id и номера попытки: имена файлов и предметные ID не экспортируются.
В Grafana Explore / Loki:
{service_name="messenger-api"} | request_id="ЗНАЧЕНИЕ_X_REQUEST_ID"
{service_name=~"messenger-.*"} | trace_id="TRACE_ID"
Поле trace_id открывает Tempo; из Tempo доступен переход к логам. В трассе upload
видны POST /api/v1/chats/{chat_id}/attachments, attachment-jobs publish,
attachment-jobs process, image.process, s3.GetObject, s3.PutObject,
db.SELECT/db.UPDATE. Исключения содержат только тип, без message/stack/SQL.
SLI/SLO и alerts
SLI доступности = 1 − число 5xx / число всех бизнес-запросов за скользящие 30 минут. SLO: не менее 99%. Health исключён из числителя и знаменателя; 4xx не считается отказом сервера. Без запросов SLI не оцениваем. Это учебное окно, а не месячный SLO.
ApiHighErrorRate: 5xx > 5% за 2 минуты, минимум 20 запросов, for: 20s.
QueueLagHigh: queued > 0 и возраст > 30s, свежий sample, for: 15s.
Пороги короткие для воспроизводимой локальной демонстрации; алерты не являются
burn-rate исследованием. Rules вычисляет Prometheus; firing/pending видны в
http://localhost:9090/alerts и на dashboard. После восстановления alert пропадает
из instant ALERTS; история переходов остаётся в range query. Доставка наружу не настроена.
Queue lag
- Открыть queue depth/age и worker capacity/busy. Растущая очередь при отсутствии capacity означает остановку worker; свежий sample подтверждает доступность БД.
- В Loki найти
job_published, затем открыть trace: producer есть, consumer ещё нет. docker compose start worker; дождатьсяjob_processedoutcome=ready, depth=0.- Проверить, что QueueLagHigh больше не firing и в той же трассе появился consumer.
API errors
- При ApiHighErrorRate найти http_request со status_class=5xx и взять trace_id.
- В Tempo проверить
db.acquire/db.SELECT: error.type и длительность покажут отказ подключения/БД. В Loki естьdb_error/operation_failed. Медленный handler без отказа зависимости не имел бы ошибочного DB span. Посмотреть db_pool_waiting. - Проверить PostgreSQL:
docker compose ps postgres; восстановитьdocker compose start postgres, дождаться readiness и успешного бизнес-запроса. - Через окно 2m error ratio снизится, alert перейдёт в resolved. Sample очереди тоже должен стать свежим. Сценарий проверки сохраняет трассу ошибочного запроса.
Недоступность telemetry backend
SDK: очереди по 512 spans/logs, batch 64, HTTP timeout 1s; metric export каждые 5s. Отправка выполняется в фоновых потоках. Collector: memory limiter 192 MiB, spike 48 MiB, container limit 256 MiB; batch ≤256 записей; отдельная очередь 32 batches / 2 consumers на Loki и Tempo; retry до 15s, timeout 2s, overflow не блокирует приём. Конечные ограничения защищают память, но допускают потерю телеметрии при длительном отказе. API и pipeline не зависят от готовности backend.
Сценарий backend останавливает Tempo, продолжает создавать сообщения и
обрабатывать изображения, снимает RSS/очередь Collector, затем запускает Tempo
и проверяет новую трассу. send_failed_spans может считать повторные попытки:
его нельзя выдавать за число уникально потерянных spans. Для отдельного окна
тест вычисляет accepted − sent после опустошения очереди (без рестартов Collector)
и сохраняет эти дельты вместе с наблюдаемой памятью. Это потери уже принятых
Collector spans; отброшенные до приёма SDK/receiver в этот счёт не входят.
Prometheus всё это время
работает, поэтому сохраняется история отказа и восстановления.
Первичные источники: Collector, native Loki OTLP, bounded exporter queues.