Files
mtusi2026lab6/REPORT.md
T

19 KiB
Raw Blame History

Отчёт — лабораторная 6

  • Автор, группа: Чурилин Данила, БВТ2301
  • Текущий подготовленный уровень: оценка «5», трек 2 «SLO и обнаружение инцидентов»
  • Ветка: solution/bvt2301-churilin
  • Commit/PR: не создавались
  • Использованные источники, библиотеки и помощь ИИ: OpenTelemetry Go SDK 1.46.0, OpenTelemetry Collector Contrib 0.165.0, Prometheus 3.16.0, Loki 3.7.9, Tempo 2.10.5, Grafana 13.3.0; официальная документация OpenTelemetry, Prometheus и Grafana; OpenAI Codex использован для анализа требований, реализации, тестирования и оформления отчёта

Запуск из чистого clone

Нужны Docker Engine с Compose v2, GNU Make, Python 3.9+ и OpenSSL. Локальный Go для запуска стенда не обязателен.

cp .env.example .env
make init-secrets
docker compose --env-file .env config --quiet
docker compose --env-file .env up -d --build --wait

make check
make test
make test-observability-grade3
make test-observability-grade4
make test-observability-retry-trace
make test-observability-alerts
make test-telemetry-backend-outage
make test-slo-burn-rate

make init-secrets создаёт игнорируемые Git файлы в secrets/ с mode 600 и не перезаписывает существующие значения. Миграции выполняет одноразовый migrate, а minio-bootstrap идемпотентно создаёт приватный bucket и ограниченного S3-пользователя.

Порты по умолчанию: приложение 127.0.0.1:8080, Grafana :3000, Prometheus :9090, Loki :3100, Tempo :3200. Они привязаны к loopback и переопределяются переменными из .env.example.

После проверки каждого уровня (3, 4, 5) и после завершения лабораторной выполняется:

make cleanup-lab

Команда делает docker compose down --remove-orphans и удаляет только пять локально собранных образов с точными именами mtusi2026lab6-*. Именованные volumes, pulled-образы и ресурсы других лабораторных сохраняются. Намеренный полный сброс учебных данных остаётся отдельной командой docker compose down --volumes и в автоматическую очистку не входит.

Архитектура и причинная связь

client -> HAProxy -> API x2 -> PostgreSQL + staging S3
                            |
                   W3C traceparent/tracestate
                            v
                  outbox -> dispatcher -- producer span --> RabbitMQ
                                                           |
                                                           v
                                                     consumer span
                                                        worker
                                                   -> S3 + PostgreSQL

API / dispatcher / worker -- OTLP --> Collector -- metrics --> Prometheus
                                      |          -- logs ----> Loki
                                      '---------- traces ---> Tempo
Prometheus + Loki + Tempo ----------------------------------> Grafana

PostgreSQL — источник истины для metadata и outbox/job, MinIO — для объектов, RabbitMQ — persistent at-least-once transport, Redis — восстанавливаемый cache. Бизнес-ответ и обработка job не зависят от успешности экспорта телеметрии.

API инжектирует W3C traceparent/tracestate в атомарно созданную outbox job. Dispatcher извлекает сохранённый context, создаёт PRODUCER span, помещает новый context в AMQP headers. Worker извлекает headers до claim и создаёт CONSUMER span. При retry исходный parent сохраняется, а новая producer/consumer-пара остаётся в той же трассе. S3 и PostgreSQL операции — дочерние CLIENT spans. postgresql.acquire отдельно показывает timeout выдачи соединения из pool, даже если SQL ещё не начал выполняться.

Общие Resource attributes: service.name, service.version=6.0.0, service.instance.id, deployment.environment.name=lab. В metric labels нет user/chat/message/attachment/request ID, URL, filename и текста ошибок. Логи не содержат тела сообщений, изображения, tokens или credentials.

Метрики, запросы и единицы

Provisioned dashboards: основной UID mtusi-lab6-grade4 и SLO dashboard UID mtusi-lab6-grade5. Оба JSON лежат в infrastructure/telemetry/grafana/dashboards/ и импортируются без ручной настройки.

Сигнал PromQL Единица
API RPS sum(rate(messenger_http_server_requests_total[1m])) requests/s
Доля 5xx sum(rate(...{status_class="5xx"}[1m])) / sum(rate(...[1m])) доля 0..1
API p50/p95/p99 histogram_quantile(q, sum by (le) (rate(messenger_http_server_duration_seconds_bucket[5m]))) секунды
Queue depth max(messenger_queue_depth) jobs
Старейшая job max(messenger_queue_oldest_job_age_seconds) секунды
Worker saturation max(messenger_worker_busy) / max(messenger_worker_capacity) доля 0..1
Time to ready p50/p95/p99 histogram_quantile(q, sum by (le) (rate(messenger_attachment_ready_duration_seconds_bucket[5m]))) секунды
DB pool sum by (service_name,state) (messenger_db_pool_connections) connections
DB waits sum by (service_name) (rate(messenger_db_pool_waits_total[5m])) waits/s
CPU процесса sum by (service_name) (rate(messenger_process_cpu_time_seconds_total[5m])) CPU-seconds/s
RSS процесса max by (service_name) (messenger_process_memory_bytes) bytes
Collector queues otelcol_exporter_queue_size, otelcol_exporter_queue_capacity batches
Потери Collector сумма rate otelcol_exporter_send_failed_* signals/s

Percentiles вычисляются из histogram buckets; средние значения и усреднение готовых p99 между репликами не используются.

Отдельная калибровка make test-histogram-calibration сравнила 400 клиентских измерений с Prometheus: HTTP p95 3.570 ms на клиенте и 4.910 ms по histogram (ratio 1.38), ready p95 1.013/0.946 s, worker p95 97.5 ms. Таким образом, единицы действительно секунды, а ошибка на три порядка из-за слишком крупных default buckets отсутствует.

SLI, SLO и alerts

Для трека 2 заданы два request/event-based SLO с policy window 7 дней, совпадающим с --storage.tsdb.retention.time=7d Prometheus:

  • API availability: не менее 99% instrumented HTTP-запросов завершаются без 5xx; error budget — 1% запросов;
  • attachment ready: не менее 99% успешно завершённых attachments переходят в ready не позднее 10 секунд после durable acceptance; error budget — 1% завершённых jobs.

Порог 10 секунд включает очередь и обработку и потому лучше пользовательского результата, чем только worker execution time. Значение совпадает с bucket le="10.0", поэтому bad events считаются без приближения percentile.

Policy-window recording rules messenger:slo_api_success_ratio_7d и messenger:slo_attachment_ready_ratio_7d вычисляются через increase(...[7d]); SLO можно проверить напрямую на dashboard, а не выводить из коротких alert windows.

Правила лежат в infrastructure/telemetry/prometheus/rules/alerts.yaml:

  • MessengerAPIHighErrorRate: более 1% 5xx при достаточном трафике за 1 минуту, for: 10s;
  • MessengerQueueLagGrowing: depth > 0 и oldest age > 10 секунд, for: 10s.

Для уровня 5 добавлены две policy-window и восемь burn-window recording rules по окнам 30s/1m/2m/5m, а также четыре multi-window alerts:

  • Fast: оба окна 30s и 2m превышают 14.4x burn rate, for: 10s, severity page;
  • Slow: оба окна 1m и 5m превышают 6x burn rate, for: 20s, severity ticket;
  • одинаковая схема применяется к API 5xx и attachment >10s;
  • traffic guard исключает алерт при отсутствии запросов/jobs.

Факторы 14.4x и 6x выражают скорость расходования 1% бюджета независимо от масштаба окна. Окна намеренно сжаты до минут для воспроизводимой лабораторной проверки; production-вариант использовал бы, например, 5m/1h и 30m/6h. Runbooks: infrastructure/telemetry/runbooks/level4.md и level5.md.

Collector и bounded degradation

Обе telemetry-очереди имеют capacity 256 batches и 2 consumers. memory_limiter: limit 192 MiB, spike 48 MiB, проверка раз в секунду. batch: 256, максимум 512, timeout 1 секунда. Export timeout 3 секунды, retry ограничен 30 секундами. Container memory limit — 256 MiB.

При остановке Loki и Tempo 400 HTTP-запросов завершились с 200, attachment перешёл в ready. Collector принял дополнительно 3170 log/span records; после исчерпания retry budget 75 сигналов были явно учтены как send_failed, а не накапливались бесконечно. Queue peak в момент измерения — 34 из 256 batches; container RSS peak — 261305139 из 268435456 bytes. После восстановления backend новый log и trace 01806671c8d2cee14dc504f63a60197b появились снова. Бизнес-данные не потеряны; допустимая деградация — потеря части телеметрии после bounded retry.

Контролируемые инциденты

1. Worker остановлен

Гипотеза: queue depth и oldest age растут, бизнес-upload остаётся durable queued, затем после возврата worker job завершается.

Методика: остановить worker, загрузить PNG, дождаться MessengerQueueLagGrowing=firing, запустить worker, дождаться ready и отсутствия активного alert.

Результат: firing через 26.075 s, depth=1, oldest age=21.157 s; resolved через 8.009 s после восстановления. Диагностика: dashboard queue → worker saturation/logs → consumer trace.

2. PostgreSQL приостановлен

Гипотеза: API возвращает bounded 503 через DB query timeout; HTTP trace содержит error на ожидании pool, high-error alert срабатывает и снимается после восстановления.

Методика: docker compose pause postgres, восемь параллельных authenticated GET, ожидание alert, unpause, readiness, поиск request ID в Loki и trace в Tempo.

Результат: восемь 503; MessengerAPIHighErrorRate=firing через 19.044 s; trace db176205d463b89b73c737780e58cf06 содержит postgresql.acquire со статусом error; resolved через 44.049 s. Это отличает DB pool timeout от медленного handler без DB child/error span.

Retry и единая трасса

MinIO был остановлен после durable staging upload, worker выполнил неуспешную попытку, затем MinIO восстановлен. Attachment завершился ready. В trace 0df6d4041008c05e5c2c77b0c2bd2ddf видны сервисы API/dispatcher/worker, producer attempts 1/2 и consumer attempts 1/2, всего 46 spans, включая S3 и PostgreSQL.

Эксперимент уровня 5: SLO и обнаружение

Гипотеза: multi-window burn-rate не реагирует на ограниченный краткий всплеск ниже скорости расходования бюджета, но обнаруживает длительную деградацию; после восстановления и достаточного успешного трафика оба окна возвращаются ниже порога.

Методика полностью реализована в tests/slo_burn_rate.py:

  1. создать 400 успешных запросов baseline;
  2. кратко pause PostgreSQL и получить 4 контролируемых 503, затем 25 секунд наблюдать оба состояния alerts;
  3. повторно pause PostgreSQL и поддерживать восемь concurrent error streams до firing Fast/Slow;
  4. восстановить DB, создать успешный трафик, измерить resolved и найти root cause по log/trace;
  5. для ready SLO создать 20 быстрых jobs, остановить worker, выдержать пять jobs более 10 секунд, восстановить worker и дождаться Fast/Slow;
  6. создать 100 быстрых jobs и измерить resolved.

Результаты API:

  • краткий burst: 4 ошибки, pending_or_firing=0; максимум 30s ratio 3.846%, 5m ratio 0.783%; контролируемых ложных срабатываний нет;
  • длительная деградация: 136 ответов 503;
  • MessengerAPIBurnRateSlow firing через 42.194 s, Fast через 52.212 s;
  • resolved обоих правил через 38.851 s после восстановления и успешного трафика;
  • trace abac9b8b51c9b4bd3d05c26dab3e37ea, root cause span postgresql.acquire.

Результаты attachment ready:

  • 20 baseline jobs ≤10s, 5 jobs >10s, 100 recovery jobs ≤10s;
  • Fast firing через 20.039 s после поступления slow observations, Slow — через 30.056 s;
  • resolved через 8.016 s после recovery samples;
  • итоговый 5m slow ratio 4.794%, то есть ниже 6% slow burn threshold.

В этом локальном профиле Slow API alert обнаружился раньше Fast: длинное окно уже превысило 6%, тогда как 30s окно Fast сначала было разбавлено baseline-трафиком. Это ожидаемое следствие данных, а не гарантия порядка severity. Проверка false positive ограничена одним воспроизводимым сценарием и не является статистической оценкой реальной частоты ложных тревог.

Доказательства и проверки

Критерий Команда Результат
Contract/OpenAPI make check, make validate PASS
Публичный API make test PASS
Уровень 3 make test-observability-grade3 PASS
W3C chain + grade-4 metrics/dashboard make test-observability-grade4 PASS, 3 services, 4 span kinds, 36 spans
Retry в одной трассе make test-observability-retry-trace PASS, attempts 1/2, 2 producer + 2 consumer
Alerts make test-observability-alerts PASS, оба firing/resolved
Telemetry backend outage make test-telemetry-backend-outage PASS, business ready, bounded queue/RAM/loss
Grade-5 SLO experiment make test-slo-burn-rate PASS, short burst filtered; API/ready Fast+Slow firing/resolved
Histogram calibration make test-histogram-calibration PASS, HTTP client/Prom p95 3.570/4.910 ms; ready 1.013/0.946 s
Collector config Collector validate PASS
Prometheus rules promtool check config/rules PASS, 17 rules
Go go test -race -count=1 ./..., go vet ./..., go build ./..., go mod verify PASS
Go dependencies govulncheck -show verbose ./... PASS, no symbol/package/module vulnerabilities found after dependency updates
Shell scripts bash -n, ShellCheck 0.11.0 PASS
Compose/dashboard docker compose config --quiet, JSON parse, Grafana API PASS
CI application job .github/workflows/contracts.yml race/vet/vulnerability audit, Compose build/wait, public smoke, telemetry path, failure logs, cleanup

Полный машинно-читаемый вывод и параметры прогонов сохранены в evidence/lab6-grade4.md и evidence/lab6-grade5.md.

Ограничения

Заявлен уровень 5, трек 2. Стенд проверен на одном Docker-host, поэтому потеря host/volumes не покрыта. Окна burn-rate сжаты для лабораторной повторяемости и не заменяют многонедельное production-наблюдение. DB incident использует полную pause, а не реалистичное распределение latency. Независимый студент ещё не выполнял runbook drill; вместо этого шаги автоматически повторяет black-box сценарий, а root cause подтверждён через Loki/Tempo. Пик RSS Collector в outage-тесте близок к container limit, но не превысил его, контейнер не перезапускался, очередь оставалась bounded, а потери были измерены. Обычная очистка сохраняет named volumes; для освобождения места, занятого volumes, нужен отдельный осознанный экспорт/удаление данных.