forked from mtusi2026/mtusi2026lab5
ЛР5: брокер RabbitMQ, outbox, worker, варианты изображений, отказоустойчивость, исследование очереди
This commit is contained in:
Executable
+37
@@ -0,0 +1,37 @@
|
||||
#!/usr/bin/env bash
|
||||
# Создаёт локальные секреты стенда (secrets/ в .gitignore). Идемпотентно: существующие файлы не перезаписываются.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
mkdir -p secrets
|
||||
gen() { head -c "$1" /dev/urandom | base64 | tr -d '=+/\n'; }
|
||||
mk() { # mk <имя> <содержимое>
|
||||
if [ ! -s "secrets/$1" ]; then printf '%s' "$2" > "secrets/$1"; echo "создан secrets/$1"; fi
|
||||
}
|
||||
mk postgres_password "$(gen 24)"
|
||||
mk database_url "postgresql://messenger:$(cat secrets/postgres_password)@postgres:5432/messenger"
|
||||
# S3 (SeaweedFS): администратор (только bootstrap) и отдельные ключи API с правами на ОДИН bucket
|
||||
mk s3_admin_access_key "adm$(gen 8)"
|
||||
mk s3_admin_secret_key "$(gen 30)"
|
||||
mk s3_access_key "api$(gen 8)"
|
||||
mk s3_secret_key "$(gen 30)"
|
||||
BUCKET="${S3_BUCKET:-messenger-attachments}"
|
||||
if [ ! -s secrets/seaweed_s3.json ]; then
|
||||
cat > secrets/seaweed_s3.json <<EOF
|
||||
{
|
||||
"identities": [
|
||||
{"name": "admin", "credentials": [{"accessKey": "$(cat secrets/s3_admin_access_key)", "secretKey": "$(cat secrets/s3_admin_secret_key)"}],
|
||||
"actions": ["Admin", "Read", "Write", "List", "Tagging"]},
|
||||
{"name": "api", "credentials": [{"accessKey": "$(cat secrets/s3_access_key)", "secretKey": "$(cat secrets/s3_secret_key)"}],
|
||||
"actions": ["Read:$BUCKET", "Write:$BUCKET", "List:$BUCKET"]}
|
||||
]
|
||||
}
|
||||
EOF
|
||||
echo "создан secrets/seaweed_s3.json"
|
||||
fi
|
||||
mk rabbitmq_user "mq$(gen 6)"
|
||||
mk rabbitmq_password "$(gen 24)"
|
||||
mk rabbitmq.conf "default_user = $(cat secrets/rabbitmq_user)
|
||||
default_pass = $(cat secrets/rabbitmq_password)
|
||||
"
|
||||
mk broker_url "amqp://$(cat secrets/rabbitmq_user):$(cat secrets/rabbitmq_password)@rabbitmq:5672/"
|
||||
chmod 644 secrets/* 2>/dev/null || true # читает непривилегированный пользователь контейнера (uid 10001)
|
||||
@@ -0,0 +1,7 @@
|
||||
@echo off
|
||||
rem Windows analogue of restart.sh: restart the whole stand, volumes are kept; wait until healthy.
|
||||
cd /d "%~dp0.."
|
||||
docker compose --env-file .env restart postgres valkey seaweedfs rabbitmq worker api lb >NUL 2>&1
|
||||
if errorlevel 1 exit /b 1
|
||||
docker compose --env-file .env up -d --wait --no-recreate --no-deps postgres valkey seaweedfs rabbitmq worker api lb >NUL 2>&1
|
||||
exit /b %errorlevel%
|
||||
Executable
+7
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
# Перезапуск ВСЕГО стенда с сохранением volumes: LB, API-реплики, PostgreSQL, Valkey, S3. Данные не удаляются.
|
||||
# После рестарта ждём healthy всех сервисов (`up --wait`), чтобы проверка сразу видела готовый стенд (S3 стартует ~10 с).
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose --env-file .env restart postgres valkey seaweedfs rabbitmq worker api lb >/dev/null 2>&1
|
||||
docker compose --env-file .env up -d --wait --no-recreate --no-deps postgres valkey seaweedfs rabbitmq worker api lb >/dev/null 2>&1
|
||||
Executable
+10
@@ -0,0 +1,10 @@
|
||||
#!/bin/sh
|
||||
# Возвращает стенд к заданному числу API-реплик (API_REPLICAS в .env, по умолчанию 2):
|
||||
# остановленные контейнеры удаляются и создаются заново; данные (volumes) не затрагиваются.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
for cid in $(docker ps -aq --filter "label=com.docker.compose.project=mtusi-lab5" --filter "label=com.docker.compose.service=api" --filter "status=exited"); do
|
||||
docker rm "$cid" >/dev/null
|
||||
done
|
||||
N="${API_REPLICAS:-$(grep -E '^API_REPLICAS=' .env | cut -d= -f2 | tr -d '\r')}"
|
||||
docker compose --env-file .env up -d --no-deps --scale api="$N" api >/dev/null 2>&1 || { echo "не удалось вернуть $N реплик" >&2; exit 1; }
|
||||
Executable
+32
@@ -0,0 +1,32 @@
|
||||
#!/bin/sh
|
||||
# Rolling update API без простоя: реплики заменяются по одной.
|
||||
# 1) миграции выполняются ОДИН раз до замены (идемпотентно; должны быть обратно совместимы со старой версией);
|
||||
# 2) для каждой старой реплики: поднять новую (из нового образа) рядом -> дождаться healthy и попадания в LB ->
|
||||
# остановить старую штатно (SIGTERM -> drain 4 с -> graceful shutdown) -> удалить.
|
||||
# Использование: scripts/rolling-update.sh [REVISION]
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
REV="${1:-$(date +%s)}"
|
||||
COMPOSE="docker compose --env-file .env"
|
||||
API_FILTER="--filter label=com.docker.compose.project=mtusi-lab5 --filter label=com.docker.compose.service=api"
|
||||
|
||||
$COMPOSE build --build-arg REV="$REV" api >/dev/null
|
||||
$COMPOSE run --rm migrate >/dev/null
|
||||
OLD=$(docker ps -q $API_FILTER)
|
||||
N=$(echo "$OLD" | wc -w | tr -d ' ')
|
||||
echo "revision=$REV replicas=$N"
|
||||
for old in $OLD; do
|
||||
BEFORE_FILE=$(mktemp)
|
||||
docker ps -q $API_FILTER | sort > "$BEFORE_FILE"
|
||||
$COMPOSE up -d --no-deps --no-recreate --scale api=$((N + 1)) api >/dev/null 2>&1
|
||||
NEW=$(docker ps -q $API_FILTER | sort | comm -13 "$BEFORE_FILE" -)
|
||||
rm -f "$BEFORE_FILE"
|
||||
for i in $(seq 1 60); do
|
||||
[ "$(docker inspect -f '{{.State.Health.Status}}' "$NEW" 2>/dev/null)" = healthy ] && break
|
||||
sleep 1
|
||||
done
|
||||
sleep 3 # LB: rise=2 проверки по 1 с -> реплика в ротации
|
||||
docker stop --time 15 "$old" >/dev/null
|
||||
docker rm "$old" >/dev/null
|
||||
echo "заменена реплика $old -> $NEW"
|
||||
done
|
||||
@@ -0,0 +1,8 @@
|
||||
@echo off
|
||||
rem Windows analogue of stop-one.sh: stop exactly one API replica and leave it stopped.
|
||||
set "cid="
|
||||
echo %TARGET_INSTANCE_ID%| findstr /r "^[a-f0-9][a-f0-9]*$" >NUL || exit /b 2
|
||||
for /f %%i in ('docker ps -q --filter id^=%TARGET_INSTANCE_ID% --filter label^=com.docker.compose.project^=mtusi-lab5 --filter label^=com.docker.compose.service^=api') do set "cid=%%i"
|
||||
if "%cid%"=="" exit /b 3
|
||||
docker stop --time 0 %cid% >NUL 2>&1
|
||||
exit /b %errorlevel%
|
||||
Executable
+14
@@ -0,0 +1,14 @@
|
||||
#!/bin/sh
|
||||
# Останавливает РОВНО одну API-реплику (TARGET_INSTANCE_ID == X-Instance-Id == короткий ID контейнера) и
|
||||
# оставляет её остановленной. Не трогает БД, Valkey, LB и volumes. Возвращается быстро (< 2 с).
|
||||
# `docker stop --time 0`: SIGTERM и немедленный SIGKILL — имитация отказа процесса; политика restart
|
||||
# после ручной остановки не поднимает контейнер. Восстановление: scripts/restore-replicas.sh
|
||||
set -eu
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
case "$TARGET_INSTANCE_ID" in
|
||||
''|*[!a-f0-9]*) echo "некорректный TARGET_INSTANCE_ID" >&2; exit 2 ;;
|
||||
esac
|
||||
cid=$(docker ps -q --filter "id=$TARGET_INSTANCE_ID" \
|
||||
--filter "label=com.docker.compose.project=mtusi-lab5" --filter "label=com.docker.compose.service=api")
|
||||
[ -n "$cid" ] || { echo "реплика не найдена среди работающих api-контейнеров" >&2; exit 3; }
|
||||
docker stop --time 0 "$cid" >/dev/null
|
||||
Reference in New Issue
Block a user