Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher confirms, manual ack, DLQ), transactional outbox, отдельный worker. - upload: оригинал в staging S3, затем одной транзакцией queued + jobs + outbox -> 202; API к брокеру не подключается - relay: публикация outbox с confirm, reaper истёкших аренд, redrive - worker: claim по строке jobs, аренда с heartbeat и fencing по lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом, thumbnail 256, crop 128, WebP 1280 по детерминированным ключам - retry с backoff и jitter, постоянные/временные ошибки, реестр failed, ops replay (ready не повторяется), DLQ для невалидных сообщений - janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4 - тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack, заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
58 lines
3.4 KiB
Bash
Executable File
58 lines
3.4 KiB
Bash
Executable File
#!/bin/sh
|
|
# Поочерёдная замена API-реплик на новую версию образа без остановки сервиса.
|
|
# scripts/rolling-update.sh <APP_VERSION>
|
|
# Порядок (expand -> replace):
|
|
# 1. собрать новый образ (тот же тег mtusi-messenger:lab5, build-arg APP_VERSION);
|
|
# 2. ОДИН раз применить миграции (job migrate). Допускаются только обратно совместимые
|
|
# (expand-only) миграции: старые реплики продолжают работать на новой схеме;
|
|
# 3. для каждой старой реплики: поднять +1 новую -> дождаться healthy и UP в HAProxy ->
|
|
# штатно остановить (SIGTERM, drain) и удалить старую. Число обслуживающих реплик
|
|
# не опускается ниже исходного.
|
|
# 4. записать APP_VERSION в .env, чтобы следующий `docker compose up` не пересоздал всё разом.
|
|
set -eu
|
|
cd "$(dirname "$0")/.."
|
|
VERSION=${1:?usage: rolling-update.sh <APP_VERSION>}
|
|
export APP_VERSION="$VERSION"
|
|
ts() { date -u +%FT%TZ; }
|
|
|
|
lb_up_count() {
|
|
curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1=="be_api" && $18=="UP"' | wc -l | tr -d ' '
|
|
}
|
|
# UP ли в HAProxy слот с адресом конкретного контейнера. Проверяем именно адрес, а не число
|
|
# UP-серверов: новый контейнер может получить IP только что удалённого, и счётчик обманет.
|
|
lb_has_up() {
|
|
curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, -v a="$1:8080" '$1=="be_api" && $18=="UP" && $74==a' | grep -q .
|
|
}
|
|
|
|
echo "$(ts) build version $VERSION"
|
|
docker compose --env-file .env build api >/dev/null
|
|
echo "$(ts) migrate (once)"
|
|
docker compose --env-file .env run --rm --no-deps migrate
|
|
|
|
OLD=$(docker compose ps -q api)
|
|
N=$(echo "$OLD" | wc -l | tr -d ' ')
|
|
echo "$(ts) replacing $N replicas"
|
|
for old in $OLD; do
|
|
before=$(docker compose ps -q api | sort)
|
|
docker compose --env-file .env up -d --no-deps --no-recreate --scale api=$((N + 1)) api >/dev/null 2>&1
|
|
new=$(docker compose ps -q api | sort | grep -v -F "$before" | head -1)
|
|
[ -n "$new" ] || { echo "new replica was not created" >&2; exit 1; }
|
|
for _ in $(seq 1 60); do
|
|
[ "$(docker inspect -f '{{.State.Health.Status}}' "$new")" = healthy ] && break; sleep 1
|
|
done
|
|
[ "$(docker inspect -f '{{.State.Health.Status}}' "$new")" = healthy ] || { echo "new replica not healthy" >&2; exit 1; }
|
|
ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' "$new")
|
|
for _ in $(seq 1 30); do lb_has_up "$ip" && break; sleep 0.5; done
|
|
lb_has_up "$ip" || { echo "HAProxy did not mark new replica $ip UP" >&2; exit 1; }
|
|
echo "$(ts) up $(docker inspect -f '{{.Name}}' "$new" | tr -d /) version=$(docker exec "$new" printenv APP_VERSION) ip=$ip UP in LB (UP slots: $(lb_up_count))"
|
|
name=$(docker inspect -f '{{.Name}}' "$old" | tr -d /)
|
|
docker stop -t 20 "$old" >/dev/null && docker rm "$old" >/dev/null
|
|
echo "$(ts) gone $name (graceful SIGTERM)"
|
|
done
|
|
if grep -q '^APP_VERSION=' .env; then
|
|
sed -i.bak "s/^APP_VERSION=.*/APP_VERSION=$VERSION/" .env && rm -f .env.bak
|
|
else
|
|
echo "APP_VERSION=$VERSION" >> .env
|
|
fi
|
|
echo "$(ts) done: $(docker compose ps --format '{{.Name}}' api | tr '\n' ' ')"
|