forked from mtusi2026/mtusi2026lab6
Перенесена реализация lab5 (API x2 за HAProxy, PostgreSQL, SeaweedFS S3, RabbitMQ, relay outbox, worker x2, janitor) без изменения бизнес-API. Наблюдаемость: - OpenTelemetry SDK в API, relay, worker, janitor: traces, metrics, logs по OTLP/HTTP; структурные JSON-логи с trace_id/span_id - OTel Collector (memory_limiter, batch, ограниченные очереди и retry), Prometheus (метрики, alert rules), Loki (логи), Tempo (трассы), Grafana с provisioning datasources и dashboard - W3C trace context API -> outbox -> RabbitMQ -> worker (parent-child, включая retry); метрики очереди, пула БД, загрузки worker, CPU/RAM - SLI/SLO, 10 alert rules с unit-тестами promtool и runbooks - инциденты: остановка worker, блокировка БД, отказ telemetry backend; по наблюдениям исправлен простой worker в цикле AMQP (разбор x2.4)
25 lines
1.6 KiB
Bash
Executable File
25 lines
1.6 KiB
Bash
Executable File
#!/bin/sh
|
|
# Офлайн-проверка конфигураций телеметрии теми же образами, что и стенд (сеть не нужна):
|
|
# promtool check config + check rules + unit-тесты alert rules,
|
|
# otelcol-contrib validate, loki -verify-config.
|
|
# Использование: scripts/check_rules.sh (код возврата 0 — всё валидно)
|
|
set -eu
|
|
cd "$(dirname "$0")/.."
|
|
img() { grep -E "^\s+image: $1" compose.yaml | head -1 | awk '{print $2}'; }
|
|
PROM=$(img prom/prometheus)
|
|
OTEL=$(img otel/opentelemetry-collector-contrib)
|
|
LOKI=$(img grafana/loki)
|
|
echo "== promtool check config ($PROM)"
|
|
docker run --rm -v "$PWD/infra/prometheus:/etc/prometheus:ro" --entrypoint promtool "$PROM" check config /etc/prometheus/prometheus.yml
|
|
echo "== promtool test rules"
|
|
docker run --rm -v "$PWD/infra/prometheus:/w:ro" -w /w/tests --entrypoint promtool "$PROM" test rules messenger.test.yml
|
|
echo "== otelcol validate ($OTEL)"
|
|
docker run --rm -v "$PWD/infra/otel/collector.yaml:/c.yaml:ro" "$OTEL" validate --config=/c.yaml && echo "collector config OK"
|
|
echo "== loki -verify-config ($LOKI)"
|
|
docker run --rm -v "$PWD/infra/loki/loki.yaml:/c.yaml:ro" "$LOKI" -config.file=/c.yaml -verify-config && echo "loki config OK"
|
|
echo "== dashboard JSON is up to date with scripts/build_dashboard.py"
|
|
tmp=$(mktemp)
|
|
cp infra/grafana/dashboards/messenger.json "$tmp"
|
|
python3 scripts/build_dashboard.py >/dev/null
|
|
cmp -s "$tmp" infra/grafana/dashboards/messenger.json && echo "dashboard OK" || { echo "dashboard JSON differs from generator" >&2; exit 1; }
|