19 KiB
Отчёт — лабораторная 6
- Автор, группа: Чурилин Данила, БВТ2301
- Текущий подготовленный уровень: оценка «5», трек 2 «SLO и обнаружение инцидентов»
- Ветка:
solution/bvt2301-churilin - Commit/PR: не создавались
- Использованные источники, библиотеки и помощь ИИ: OpenTelemetry Go SDK 1.46.0, OpenTelemetry Collector Contrib 0.165.0, Prometheus 3.16.0, Loki 3.7.9, Tempo 2.10.5, Grafana 13.3.0; официальная документация OpenTelemetry, Prometheus и Grafana; OpenAI Codex использован для анализа требований, реализации, тестирования и оформления отчёта
Запуск из чистого clone
Нужны Docker Engine с Compose v2, GNU Make, Python 3.9+ и OpenSSL. Локальный Go для запуска стенда не обязателен.
cp .env.example .env
make init-secrets
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait
make check
make test
make test-observability-grade3
make test-observability-grade4
make test-observability-retry-trace
make test-observability-alerts
make test-telemetry-backend-outage
make test-slo-burn-rate
make init-secrets создаёт игнорируемые Git файлы в secrets/ с mode 600 и не перезаписывает существующие значения. Миграции выполняет одноразовый migrate, а minio-bootstrap идемпотентно создаёт приватный bucket и ограниченного S3-пользователя.
Порты по умолчанию: приложение 127.0.0.1:8080, Grafana :3000, Prometheus :9090, Loki :3100, Tempo :3200. Они привязаны к loopback и переопределяются переменными из .env.example.
После проверки каждого уровня (3, 4, 5) и после завершения лабораторной выполняется:
make cleanup-lab
Команда делает docker compose down --remove-orphans и удаляет только пять локально собранных образов с точными именами mtusi2026lab6-*. Именованные volumes, pulled-образы и ресурсы других лабораторных сохраняются. Намеренный полный сброс учебных данных остаётся отдельной командой docker compose down --volumes и в автоматическую очистку не входит.
Архитектура и причинная связь
client -> HAProxy -> API x2 -> PostgreSQL + staging S3
|
W3C traceparent/tracestate
v
outbox -> dispatcher -- producer span --> RabbitMQ
|
v
consumer span
worker
-> S3 + PostgreSQL
API / dispatcher / worker -- OTLP --> Collector -- metrics --> Prometheus
| -- logs ----> Loki
'---------- traces ---> Tempo
Prometheus + Loki + Tempo ----------------------------------> Grafana
PostgreSQL — источник истины для metadata и outbox/job, MinIO — для объектов, RabbitMQ — persistent at-least-once transport, Redis — восстанавливаемый cache. Бизнес-ответ и обработка job не зависят от успешности экспорта телеметрии.
API инжектирует W3C traceparent/tracestate в атомарно созданную outbox job. Dispatcher извлекает сохранённый context, создаёт PRODUCER span, помещает новый context в AMQP headers. Worker извлекает headers до claim и создаёт CONSUMER span. При retry исходный parent сохраняется, а новая producer/consumer-пара остаётся в той же трассе. S3 и PostgreSQL операции — дочерние CLIENT spans. postgresql.acquire отдельно показывает timeout выдачи соединения из pool, даже если SQL ещё не начал выполняться.
Общие Resource attributes: service.name, service.version=6.0.0, service.instance.id, deployment.environment.name=lab. В metric labels нет user/chat/message/attachment/request ID, URL, filename и текста ошибок. Логи не содержат тела сообщений, изображения, tokens или credentials.
Метрики, запросы и единицы
Provisioned dashboards: основной UID mtusi-lab6-grade4 и SLO dashboard UID mtusi-lab6-grade5. Оба JSON лежат в infrastructure/telemetry/grafana/dashboards/ и импортируются без ручной настройки.
| Сигнал | PromQL | Единица |
|---|---|---|
| API RPS | sum(rate(messenger_http_server_requests_total[1m])) |
requests/s |
| Доля 5xx | sum(rate(...{status_class="5xx"}[1m])) / sum(rate(...[1m])) |
доля 0..1 |
| API p50/p95/p99 | histogram_quantile(q, sum by (le) (rate(messenger_http_server_duration_seconds_bucket[5m]))) |
секунды |
| Queue depth | max(messenger_queue_depth) |
jobs |
| Старейшая job | max(messenger_queue_oldest_job_age_seconds) |
секунды |
| Worker saturation | max(messenger_worker_busy) / max(messenger_worker_capacity) |
доля 0..1 |
| Time to ready p50/p95/p99 | histogram_quantile(q, sum by (le) (rate(messenger_attachment_ready_duration_seconds_bucket[5m]))) |
секунды |
| DB pool | sum by (service_name,state) (messenger_db_pool_connections) |
connections |
| DB waits | sum by (service_name) (rate(messenger_db_pool_waits_total[5m])) |
waits/s |
| CPU процесса | sum by (service_name) (rate(messenger_process_cpu_time_seconds_total[5m])) |
CPU-seconds/s |
| RSS процесса | max by (service_name) (messenger_process_memory_bytes) |
bytes |
| Collector queues | otelcol_exporter_queue_size, otelcol_exporter_queue_capacity |
batches |
| Потери Collector | сумма rate otelcol_exporter_send_failed_* |
signals/s |
Percentiles вычисляются из histogram buckets; средние значения и усреднение готовых p99 между репликами не используются.
Отдельная калибровка make test-histogram-calibration сравнила 400 клиентских измерений с Prometheus: HTTP p95 3.570 ms на клиенте и 4.910 ms по histogram (ratio 1.38), ready p95 1.013/0.946 s, worker p95 97.5 ms. Таким образом, единицы действительно секунды, а ошибка на три порядка из-за слишком крупных default buckets отсутствует.
SLI, SLO и alerts
Для трека 2 заданы два request/event-based SLO с policy window 7 дней, совпадающим с --storage.tsdb.retention.time=7d Prometheus:
- API availability: не менее 99% instrumented HTTP-запросов завершаются без 5xx; error budget — 1% запросов;
- attachment ready: не менее 99% успешно завершённых attachments переходят в
readyне позднее 10 секунд после durable acceptance; error budget — 1% завершённых jobs.
Порог 10 секунд включает очередь и обработку и потому лучше пользовательского результата, чем только worker execution time. Значение совпадает с bucket le="10.0", поэтому bad events считаются без приближения percentile.
Policy-window recording rules messenger:slo_api_success_ratio_7d и messenger:slo_attachment_ready_ratio_7d вычисляются через increase(...[7d]); SLO можно проверить напрямую на dashboard, а не выводить из коротких alert windows.
Правила лежат в infrastructure/telemetry/prometheus/rules/alerts.yaml:
MessengerAPIHighErrorRate: более 1% 5xx при достаточном трафике за 1 минуту,for: 10s;MessengerQueueLagGrowing: depth > 0 и oldest age > 10 секунд,for: 10s.
Для уровня 5 добавлены две policy-window и восемь burn-window recording rules по окнам 30s/1m/2m/5m, а также четыре multi-window alerts:
- Fast: оба окна 30s и 2m превышают 14.4x burn rate,
for: 10s, severitypage; - Slow: оба окна 1m и 5m превышают 6x burn rate,
for: 20s, severityticket; - одинаковая схема применяется к API 5xx и attachment >10s;
- traffic guard исключает алерт при отсутствии запросов/jobs.
Факторы 14.4x и 6x выражают скорость расходования 1% бюджета независимо от масштаба окна. Окна намеренно сжаты до минут для воспроизводимой лабораторной проверки; production-вариант использовал бы, например, 5m/1h и 30m/6h. Runbooks: infrastructure/telemetry/runbooks/level4.md и level5.md.
Collector и bounded degradation
Обе telemetry-очереди имеют capacity 256 batches и 2 consumers. memory_limiter: limit 192 MiB, spike 48 MiB, проверка раз в секунду. batch: 256, максимум 512, timeout 1 секунда. Export timeout 3 секунды, retry ограничен 30 секундами. Container memory limit — 256 MiB.
При остановке Loki и Tempo 400 HTTP-запросов завершились с 200, attachment перешёл в ready. Collector принял дополнительно 3170 log/span records; после исчерпания retry budget 75 сигналов были явно учтены как send_failed, а не накапливались бесконечно. Queue peak в момент измерения — 34 из 256 batches; container RSS peak — 261305139 из 268435456 bytes. После восстановления backend новый log и trace 01806671c8d2cee14dc504f63a60197b появились снова. Бизнес-данные не потеряны; допустимая деградация — потеря части телеметрии после bounded retry.
Контролируемые инциденты
1. Worker остановлен
Гипотеза: queue depth и oldest age растут, бизнес-upload остаётся durable queued, затем после возврата worker job завершается.
Методика: остановить worker, загрузить PNG, дождаться MessengerQueueLagGrowing=firing, запустить worker, дождаться ready и отсутствия активного alert.
Результат: firing через 26.075 s, depth=1, oldest age=21.157 s; resolved через 8.009 s после восстановления. Диагностика: dashboard queue → worker saturation/logs → consumer trace.
2. PostgreSQL приостановлен
Гипотеза: API возвращает bounded 503 через DB query timeout; HTTP trace содержит error на ожидании pool, high-error alert срабатывает и снимается после восстановления.
Методика: docker compose pause postgres, восемь параллельных authenticated GET, ожидание alert, unpause, readiness, поиск request ID в Loki и trace в Tempo.
Результат: восемь 503; MessengerAPIHighErrorRate=firing через 19.044 s; trace db176205d463b89b73c737780e58cf06 содержит postgresql.acquire со статусом error; resolved через 44.049 s. Это отличает DB pool timeout от медленного handler без DB child/error span.
Retry и единая трасса
MinIO был остановлен после durable staging upload, worker выполнил неуспешную попытку, затем MinIO восстановлен. Attachment завершился ready. В trace 0df6d4041008c05e5c2c77b0c2bd2ddf видны сервисы API/dispatcher/worker, producer attempts 1/2 и consumer attempts 1/2, всего 46 spans, включая S3 и PostgreSQL.
Эксперимент уровня 5: SLO и обнаружение
Гипотеза: multi-window burn-rate не реагирует на ограниченный краткий всплеск ниже скорости расходования бюджета, но обнаруживает длительную деградацию; после восстановления и достаточного успешного трафика оба окна возвращаются ниже порога.
Методика полностью реализована в tests/slo_burn_rate.py:
- создать 400 успешных запросов baseline;
- кратко pause PostgreSQL и получить 4 контролируемых 503, затем 25 секунд наблюдать оба состояния alerts;
- повторно pause PostgreSQL и поддерживать восемь concurrent error streams до firing Fast/Slow;
- восстановить DB, создать успешный трафик, измерить resolved и найти root cause по log/trace;
- для ready SLO создать 20 быстрых jobs, остановить worker, выдержать пять jobs более 10 секунд, восстановить worker и дождаться Fast/Slow;
- создать 100 быстрых jobs и измерить resolved.
Результаты API:
- краткий burst: 4 ошибки,
pending_or_firing=0; максимум 30s ratio 3.846%, 5m ratio 0.783%; контролируемых ложных срабатываний нет; - длительная деградация: 136 ответов 503;
MessengerAPIBurnRateSlowfiring через 42.194 s, Fast через 52.212 s;- resolved обоих правил через 38.851 s после восстановления и успешного трафика;
- trace
abac9b8b51c9b4bd3d05c26dab3e37ea, root cause spanpostgresql.acquire.
Результаты attachment ready:
- 20 baseline jobs ≤10s, 5 jobs >10s, 100 recovery jobs ≤10s;
- Fast firing через 20.039 s после поступления slow observations, Slow — через 30.056 s;
- resolved через 8.016 s после recovery samples;
- итоговый 5m slow ratio 4.794%, то есть ниже 6% slow burn threshold.
В этом локальном профиле Slow API alert обнаружился раньше Fast: длинное окно уже превысило 6%, тогда как 30s окно Fast сначала было разбавлено baseline-трафиком. Это ожидаемое следствие данных, а не гарантия порядка severity. Проверка false positive ограничена одним воспроизводимым сценарием и не является статистической оценкой реальной частоты ложных тревог.
Доказательства и проверки
| Критерий | Команда | Результат |
|---|---|---|
| Contract/OpenAPI | make check, make validate |
PASS |
| Публичный API | make test |
PASS |
| Уровень 3 | make test-observability-grade3 |
PASS |
| W3C chain + grade-4 metrics/dashboard | make test-observability-grade4 |
PASS, 3 services, 4 span kinds, 36 spans |
| Retry в одной трассе | make test-observability-retry-trace |
PASS, attempts 1/2, 2 producer + 2 consumer |
| Alerts | make test-observability-alerts |
PASS, оба firing/resolved |
| Telemetry backend outage | make test-telemetry-backend-outage |
PASS, business ready, bounded queue/RAM/loss |
| Grade-5 SLO experiment | make test-slo-burn-rate |
PASS, short burst filtered; API/ready Fast+Slow firing/resolved |
| Histogram calibration | make test-histogram-calibration |
PASS, HTTP client/Prom p95 3.570/4.910 ms; ready 1.013/0.946 s |
| Collector config | Collector validate |
PASS |
| Prometheus rules | promtool check config/rules |
PASS, 17 rules |
| Go | go test -race -count=1 ./..., go vet ./..., go build ./..., go mod verify |
PASS |
| Go dependencies | govulncheck -show verbose ./... |
PASS, no symbol/package/module vulnerabilities found after dependency updates |
| Shell scripts | bash -n, ShellCheck 0.11.0 |
PASS |
| Compose/dashboard | docker compose config --quiet, JSON parse, Grafana API |
PASS |
| CI application job | .github/workflows/contracts.yml |
race/vet/vulnerability audit, Compose build/wait, public smoke, telemetry path, failure logs, cleanup |
Полный машинно-читаемый вывод и параметры прогонов сохранены в evidence/lab6-grade4.md и evidence/lab6-grade5.md.
Ограничения
Заявлен уровень 5, трек 2. Стенд проверен на одном Docker-host, поэтому потеря host/volumes не покрыта. Окна burn-rate сжаты для лабораторной повторяемости и не заменяют многонедельное production-наблюдение. DB incident использует полную pause, а не реалистичное распределение latency. Независимый студент ещё не выполнял runbook drill; вместо этого шаги автоматически повторяет black-box сценарий, а root cause подтверждён через Loki/Tempo. Пик RSS Collector в outage-тесте близок к container limit, но не превысил его, контейнер не перезапускался, очередь оставалась bounded, а потери были измерены. Обычная очистка сохраняет named volumes; для освобождения места, занятого volumes, нужен отдельный осознанный экспорт/удаление данных.