HAProxy /metrics scraped by the Collector, recording rules and seven alerts with promtool tests and runbooks (make alerts_test, CI step), byte-sized Collector export queues with 30 s retries, SDK internal metrics, SLO/LB/pipeline dashboard rows, driver commands alerts-check and backend-outage (change slo-alerts). Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
53 lines
2.8 KiB
Bash
53 lines
2.8 KiB
Bash
# Окружение шага job application (.github/workflows/application.yml),
|
||
# подключается через «.» из корня репозитория после make env_setup.
|
||
# Содержимое конфигов — в переменные для configs override
|
||
# .github/ci/compose.yml. $(cat …) срезает перевод строки в конце файла,
|
||
# поэтому он возвращается: копия побайтно равна файлу, а HAProxy без него
|
||
# конфиг не принимает («Missing LF on last line»). Значения не печатаются.
|
||
nl='
|
||
'
|
||
CI_CONFIG_TOML="$(cat config.toml)$nl"
|
||
CI_VALKEY_CONF="$(cat infra/valkey/valkey.conf)$nl"
|
||
CI_S3_BOOTSTRAP="$(cat infra/s3/bootstrap.sh)$nl"
|
||
CI_HAPROXY_CFG="$(cat infra/haproxy/haproxy.cfg)$nl"
|
||
CI_RABBITMQ_CONF="$(cat infra/rabbitmq/rabbitmq.conf)$nl"
|
||
export CI_CONFIG_TOML CI_VALKEY_CONF CI_S3_BOOTSTRAP CI_HAPROXY_CFG CI_RABBITMQ_CONF
|
||
# наблюдаемость (design change otel-telemetry, решение 20)
|
||
CI_OTEL_COLLECTOR="$(cat infra/otel/collector.yaml)$nl"
|
||
CI_PROMETHEUS_YML="$(cat infra/otel/prometheus/prometheus.yml)$nl"
|
||
CI_LOKI_YAML="$(cat infra/otel/loki/loki.yaml)$nl"
|
||
CI_TEMPO_YAML="$(cat infra/otel/tempo/tempo.yaml)$nl"
|
||
CI_GRAFANA_DATASOURCES="$(cat infra/otel/grafana/datasources.yaml)$nl"
|
||
CI_GRAFANA_DASHBOARDS="$(cat infra/otel/grafana/dashboards.yaml)$nl"
|
||
CI_GRAFANA_DASHBOARD_OVERVIEW="$(cat infra/otel/grafana/dashboards/messenger-overview.json)$nl"
|
||
# правила Prometheus (design change slo-alerts, решение 3)
|
||
CI_PROMETHEUS_RULES="$(cat infra/otel/prometheus/rules.yml)$nl"
|
||
export CI_OTEL_COLLECTOR CI_PROMETHEUS_YML CI_LOKI_YAML CI_TEMPO_YAML \
|
||
CI_GRAFANA_DATASOURCES CI_GRAFANA_DASHBOARDS CI_GRAFANA_DASHBOARD_OVERVIEW \
|
||
CI_PROMETHEUS_RULES
|
||
|
||
# готовность стенда через LB: /health/ready отвечает 200 от API_REPLICAS
|
||
# (из .env, по умолчанию 2) разных реплик — X-Instance-Id. Срок 60 с:
|
||
# make replicas ждёт healthy контейнеров, а слот LB включается ещё через
|
||
# rise проверок
|
||
wait_replicas() {
|
||
want=$(sed -n 's/^API_REPLICAS=//p' .env)
|
||
want=${want:-2}
|
||
seen=""
|
||
deadline=$(($(date +%s) + 60))
|
||
while [ "$(date +%s)" -lt "$deadline" ]; do
|
||
reply=$(curl -s -o /dev/null -w '%{http_code} %header{x-instance-id}' \
|
||
"$BASE_URL/health/ready" || true)
|
||
case "$reply" in
|
||
"200 "?*) seen=$(printf '%s\n%s\n' "$seen" "${reply#200 }" | sort -u | grep .) ;;
|
||
esac
|
||
if [ "$(printf '%s\n' "$seen" | grep -c .)" -ge "$want" ]; then
|
||
echo "LB ready: $(printf '%s ' $seen)"
|
||
return 0
|
||
fi
|
||
sleep 0.5
|
||
done
|
||
echo "LB: $(printf '%s\n' "$seen" | grep -c .) of $want replicas ready in 60 s" >&2
|
||
return 1
|
||
}
|