forked from mtusi2026/mtusi2026lab6
Перенесена реализация lab5 (API x2 за HAProxy, PostgreSQL, SeaweedFS S3, RabbitMQ, relay outbox, worker x2, janitor) без изменения бизнес-API. Наблюдаемость: - OpenTelemetry SDK в API, relay, worker, janitor: traces, metrics, logs по OTLP/HTTP; структурные JSON-логи с trace_id/span_id - OTel Collector (memory_limiter, batch, ограниченные очереди и retry), Prometheus (метрики, alert rules), Loki (логи), Tempo (трассы), Grafana с provisioning datasources и dashboard - W3C trace context API -> outbox -> RabbitMQ -> worker (parent-child, включая retry); метрики очереди, пула БД, загрузки worker, CPU/RAM - SLI/SLO, 10 alert rules с unit-тестами promtool и runbooks - инциденты: остановка worker, блокировка БД, отказ telemetry backend; по наблюдениям исправлен простой worker в цикле AMQP (разбор x2.4)
70 lines
4.5 KiB
Bash
Executable File
70 lines
4.5 KiB
Bash
Executable File
#!/bin/sh
|
|
# Поочерёдная замена API-реплик на новую версию образа без остановки сервиса.
|
|
# scripts/rolling-update.sh <APP_VERSION>
|
|
# Порядок (expand -> replace):
|
|
# 1. собрать новый образ (тот же тег mtusi-messenger:lab6, build-arg APP_VERSION). Секция build
|
|
# есть только у сервиса migrate (аудит F10: `build api` молча ничего не собирал), поэтому
|
|
# собираем migrate и проверяем, что в образе действительно новая версия;
|
|
# 2. ОДИН раз применить миграции (job migrate). Допускаются только обратно совместимые
|
|
# (expand-only) миграции: старые реплики продолжают работать на новой схеме;
|
|
# 3. для каждой старой реплики: поднять +1 новую -> дождаться healthy и UP в HAProxy ->
|
|
# штатно остановить (SIGTERM, drain) и удалить старую. Число обслуживающих реплик
|
|
# не опускается ниже исходного.
|
|
# 4. записать APP_VERSION в .env, чтобы следующий `docker compose up` не пересоздал всё разом.
|
|
set -eu
|
|
cd "$(dirname "$0")/.."
|
|
VERSION=${1:?usage: rolling-update.sh <APP_VERSION>}
|
|
export APP_VERSION="$VERSION"
|
|
ts() { date -u +%FT%TZ; }
|
|
|
|
lb_up_count() {
|
|
curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1=="be_api" && $18=="UP"' | wc -l | tr -d ' '
|
|
}
|
|
# UP ли в HAProxy слот с адресом конкретного контейнера. Проверяем именно адрес, а не число
|
|
# UP-серверов: новый контейнер может получить IP только что удалённого, и счётчик обманет.
|
|
lb_has_up() {
|
|
curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, -v a="$1:8080" '$1=="be_api" && $18=="UP" && $74==a' | grep -q .
|
|
}
|
|
|
|
echo "$(ts) build version $VERSION"
|
|
docker compose --env-file .env build migrate >/dev/null
|
|
built=$(docker run --rm --entrypoint printenv mtusi-messenger:lab6 APP_VERSION)
|
|
[ "$built" = "$VERSION" ] || { echo "image has APP_VERSION=$built, expected $VERSION" >&2; exit 1; }
|
|
echo "$(ts) migrate (once)"
|
|
docker compose --env-file .env run --rm --no-deps migrate
|
|
|
|
OLD=$(docker compose ps -q api)
|
|
N=$(echo "$OLD" | wc -l | tr -d ' ')
|
|
echo "$(ts) replacing $N replicas"
|
|
for old in $OLD; do
|
|
before=$(docker compose ps -q api | sort)
|
|
docker compose --env-file .env up -d --no-deps --no-recreate --scale api=$((N + 1)) api >/dev/null 2>&1
|
|
new=$(docker compose ps -q api | sort | grep -v -F "$before" | head -1)
|
|
[ -n "$new" ] || { echo "new replica was not created" >&2; exit 1; }
|
|
for _ in $(seq 1 60); do
|
|
[ "$(docker inspect -f '{{.State.Health.Status}}' "$new")" = healthy ] && break; sleep 1
|
|
done
|
|
[ "$(docker inspect -f '{{.State.Health.Status}}' "$new")" = healthy ] || { echo "new replica not healthy" >&2; exit 1; }
|
|
ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' "$new")
|
|
for _ in $(seq 1 30); do lb_has_up "$ip" && break; sleep 0.5; done
|
|
lb_has_up "$ip" || { echo "HAProxy did not mark new replica $ip UP" >&2; exit 1; }
|
|
got=$(docker exec "$new" printenv APP_VERSION)
|
|
[ "$got" = "$VERSION" ] || { echo "new replica runs APP_VERSION=$got, expected $VERSION" >&2; exit 1; }
|
|
echo "$(ts) up $(docker inspect -f '{{.Name}}' "$new" | tr -d /) version=$got ip=$ip UP in LB (UP slots: $(lb_up_count))"
|
|
name=$(docker inspect -f '{{.Name}}' "$old" | tr -d /)
|
|
docker stop -t 20 "$old" >/dev/null && docker rm "$old" >/dev/null
|
|
echo "$(ts) gone $name (graceful SIGTERM)"
|
|
done
|
|
if grep -q '^APP_VERSION=' .env; then
|
|
sed -i.bak "s/^APP_VERSION=.*/APP_VERSION=$VERSION/" .env && rm -f .env.bak
|
|
else
|
|
echo "APP_VERSION=$VERSION" >> .env
|
|
fi
|
|
echo "$(ts) done: $(docker compose ps --format '{{.Name}}' api | tr '\n' ' ')"
|
|
# Проверка через LB: все ответы — от новой версии.
|
|
for _ in $(seq 1 10); do
|
|
v=$(curl -s -D - -o /dev/null http://127.0.0.1:${LB_PORT:-8080}/health/ready | tr -d '\r' | awk -F': ' 'tolower($1)=="x-app-version"{print $2}')
|
|
[ "$v" = "$VERSION" ] || { echo "LB served X-App-Version=$v, expected $VERSION" >&2; exit 1; }
|
|
done
|
|
echo "$(ts) verified: 10/10 responses via LB have X-App-Version=$VERSION"
|