ЛР5: брокер RabbitMQ, outbox, worker, варианты изображений, отказоустойчивость, исследование очереди

This commit is contained in:
kolya5544
2026-10-03 05:10:45 +03:00
parent 276dbdad8a
commit 518c98fd3e
59 changed files with 4947 additions and 32 deletions
+37
View File
@@ -0,0 +1,37 @@
#!/usr/bin/env bash
# Создаёт локальные секреты стенда (secrets/ в .gitignore). Идемпотентно: существующие файлы не перезаписываются.
set -eu
cd "$(dirname "$0")/.."
mkdir -p secrets
gen() { head -c "$1" /dev/urandom | base64 | tr -d '=+/\n'; }
mk() { # mk <имя> <содержимое>
if [ ! -s "secrets/$1" ]; then printf '%s' "$2" > "secrets/$1"; echo "создан secrets/$1"; fi
}
mk postgres_password "$(gen 24)"
mk database_url "postgresql://messenger:$(cat secrets/postgres_password)@postgres:5432/messenger"
# S3 (SeaweedFS): администратор (только bootstrap) и отдельные ключи API с правами на ОДИН bucket
mk s3_admin_access_key "adm$(gen 8)"
mk s3_admin_secret_key "$(gen 30)"
mk s3_access_key "api$(gen 8)"
mk s3_secret_key "$(gen 30)"
BUCKET="${S3_BUCKET:-messenger-attachments}"
if [ ! -s secrets/seaweed_s3.json ]; then
cat > secrets/seaweed_s3.json <<EOF
{
"identities": [
{"name": "admin", "credentials": [{"accessKey": "$(cat secrets/s3_admin_access_key)", "secretKey": "$(cat secrets/s3_admin_secret_key)"}],
"actions": ["Admin", "Read", "Write", "List", "Tagging"]},
{"name": "api", "credentials": [{"accessKey": "$(cat secrets/s3_access_key)", "secretKey": "$(cat secrets/s3_secret_key)"}],
"actions": ["Read:$BUCKET", "Write:$BUCKET", "List:$BUCKET"]}
]
}
EOF
echo "создан secrets/seaweed_s3.json"
fi
mk rabbitmq_user "mq$(gen 6)"
mk rabbitmq_password "$(gen 24)"
mk rabbitmq.conf "default_user = $(cat secrets/rabbitmq_user)
default_pass = $(cat secrets/rabbitmq_password)
"
mk broker_url "amqp://$(cat secrets/rabbitmq_user):$(cat secrets/rabbitmq_password)@rabbitmq:5672/"
chmod 644 secrets/* 2>/dev/null || true # читает непривилегированный пользователь контейнера (uid 10001)
+7
View File
@@ -0,0 +1,7 @@
@echo off
rem Windows analogue of restart.sh: restart the whole stand, volumes are kept; wait until healthy.
cd /d "%~dp0.."
docker compose --env-file .env restart postgres valkey seaweedfs rabbitmq worker api lb >NUL 2>&1
if errorlevel 1 exit /b 1
docker compose --env-file .env up -d --wait --no-recreate --no-deps postgres valkey seaweedfs rabbitmq worker api lb >NUL 2>&1
exit /b %errorlevel%
+7
View File
@@ -0,0 +1,7 @@
#!/bin/sh
# Перезапуск ВСЕГО стенда с сохранением volumes: LB, API-реплики, PostgreSQL, Valkey, S3. Данные не удаляются.
# После рестарта ждём healthy всех сервисов (`up --wait`), чтобы проверка сразу видела готовый стенд (S3 стартует ~10 с).
set -eu
cd "$(dirname "$0")/.."
docker compose --env-file .env restart postgres valkey seaweedfs rabbitmq worker api lb >/dev/null 2>&1
docker compose --env-file .env up -d --wait --no-recreate --no-deps postgres valkey seaweedfs rabbitmq worker api lb >/dev/null 2>&1
+10
View File
@@ -0,0 +1,10 @@
#!/bin/sh
# Возвращает стенд к заданному числу API-реплик (API_REPLICAS в .env, по умолчанию 2):
# остановленные контейнеры удаляются и создаются заново; данные (volumes) не затрагиваются.
set -eu
cd "$(dirname "$0")/.."
for cid in $(docker ps -aq --filter "label=com.docker.compose.project=mtusi-lab5" --filter "label=com.docker.compose.service=api" --filter "status=exited"); do
docker rm "$cid" >/dev/null
done
N="${API_REPLICAS:-$(grep -E '^API_REPLICAS=' .env | cut -d= -f2 | tr -d '\r')}"
docker compose --env-file .env up -d --no-deps --scale api="$N" api >/dev/null 2>&1 || { echo "не удалось вернуть $N реплик" >&2; exit 1; }
+32
View File
@@ -0,0 +1,32 @@
#!/bin/sh
# Rolling update API без простоя: реплики заменяются по одной.
# 1) миграции выполняются ОДИН раз до замены (идемпотентно; должны быть обратно совместимы со старой версией);
# 2) для каждой старой реплики: поднять новую (из нового образа) рядом -> дождаться healthy и попадания в LB ->
# остановить старую штатно (SIGTERM -> drain 4 с -> graceful shutdown) -> удалить.
# Использование: scripts/rolling-update.sh [REVISION]
set -eu
cd "$(dirname "$0")/.."
REV="${1:-$(date +%s)}"
COMPOSE="docker compose --env-file .env"
API_FILTER="--filter label=com.docker.compose.project=mtusi-lab5 --filter label=com.docker.compose.service=api"
$COMPOSE build --build-arg REV="$REV" api >/dev/null
$COMPOSE run --rm migrate >/dev/null
OLD=$(docker ps -q $API_FILTER)
N=$(echo "$OLD" | wc -w | tr -d ' ')
echo "revision=$REV replicas=$N"
for old in $OLD; do
BEFORE_FILE=$(mktemp)
docker ps -q $API_FILTER | sort > "$BEFORE_FILE"
$COMPOSE up -d --no-deps --no-recreate --scale api=$((N + 1)) api >/dev/null 2>&1
NEW=$(docker ps -q $API_FILTER | sort | comm -13 "$BEFORE_FILE" -)
rm -f "$BEFORE_FILE"
for i in $(seq 1 60); do
[ "$(docker inspect -f '{{.State.Health.Status}}' "$NEW" 2>/dev/null)" = healthy ] && break
sleep 1
done
sleep 3 # LB: rise=2 проверки по 1 с -> реплика в ротации
docker stop --time 15 "$old" >/dev/null
docker rm "$old" >/dev/null
echo "заменена реплика $old -> $NEW"
done
+8
View File
@@ -0,0 +1,8 @@
@echo off
rem Windows analogue of stop-one.sh: stop exactly one API replica and leave it stopped.
set "cid="
echo %TARGET_INSTANCE_ID%| findstr /r "^[a-f0-9][a-f0-9]*$" >NUL || exit /b 2
for /f %%i in ('docker ps -q --filter id^=%TARGET_INSTANCE_ID% --filter label^=com.docker.compose.project^=mtusi-lab5 --filter label^=com.docker.compose.service^=api') do set "cid=%%i"
if "%cid%"=="" exit /b 3
docker stop --time 0 %cid% >NUL 2>&1
exit /b %errorlevel%
+14
View File
@@ -0,0 +1,14 @@
#!/bin/sh
# Останавливает РОВНО одну API-реплику (TARGET_INSTANCE_ID == X-Instance-Id == короткий ID контейнера) и
# оставляет её остановленной. Не трогает БД, Valkey, LB и volumes. Возвращается быстро (< 2 с).
# `docker stop --time 0`: SIGTERM и немедленный SIGKILL — имитация отказа процесса; политика restart
# после ручной остановки не поднимает контейнер. Восстановление: scripts/restore-replicas.sh
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
case "$TARGET_INSTANCE_ID" in
''|*[!a-f0-9]*) echo "некорректный TARGET_INSTANCE_ID" >&2; exit 2 ;;
esac
cid=$(docker ps -q --filter "id=$TARGET_INSTANCE_ID" \
--filter "label=com.docker.compose.project=mtusi-lab5" --filter "label=com.docker.compose.service=api")
[ -n "$cid" ] || { echo "реплика не найдена среди работающих api-контейнеров" >&2; exit 3; }
docker stop --time 0 "$cid" >/dev/null