forked from mtusi2026/mtusi2026lab5
ЛР 5 — БПИ2303 — Лазарев — на 4
Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher confirms, manual ack, DLQ), transactional outbox, отдельный worker. - upload: оригинал в staging S3, затем одной транзакцией queued + jobs + outbox -> 202; API к брокеру не подключается - relay: публикация outbox с confirm, reaper истёкших аренд, redrive - worker: claim по строке jobs, аренда с heartbeat и fencing по lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом, thumbnail 256, crop 128, WebP 1280 по детерминированным ключам - retry с backoff и jitter, постоянные/временные ошибки, реестр failed, ops replay (ready не повторяется), DLQ для невалидных сообщений - janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4 - тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack, заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
This commit is contained in:
Executable
+50
@@ -0,0 +1,50 @@
|
||||
#!/bin/sh
|
||||
# Уровень 4: ПОСЛЕДОВАТЕЛЬНО останавливает КАЖДУЮ API-реплику под нагрузкой,
|
||||
# восстанавливая предыдущую перед следующей. Режимы:
|
||||
# stop — docker stop (SIGTERM -> graceful drain), штатная остановка/деплой;
|
||||
# kill — docker kill (SIGKILL), внезапное падение процесса без drain.
|
||||
# Результаты: evidence/failover-<mode>-<container>.json (+ .action.log).
|
||||
# Использование: scripts/failover-each.sh [stop|kill] ... (по умолчанию: stop kill)
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
MODES=${*:-stop kill}
|
||||
CONCURRENCY=${CONCURRENCY:-8}
|
||||
DURATION=${DURATION:-40}
|
||||
mkdir -p evidence
|
||||
|
||||
wait_all_up() {
|
||||
# API-контейнеры healthy и HAProxy видит их все UP (rise 2 * inter 1s).
|
||||
./scripts/start-all.sh >/dev/null
|
||||
n=$(docker compose ps -q api | wc -l | tr -d ' ')
|
||||
for _ in $(seq 1 60); do
|
||||
up=$(curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1=="be_api" && $18=="UP"' | wc -l | tr -d ' ')
|
||||
[ "$up" -ge "$n" ] && return 0
|
||||
sleep 1
|
||||
done
|
||||
echo "HAProxy did not mark all $n api servers UP" >&2; return 1
|
||||
}
|
||||
|
||||
wait_all_up
|
||||
# Список фиксируется один раз: остановленная реплика пропала бы из `docker compose ps`.
|
||||
NAMES=$(docker compose ps --format '{{.Name}}' api | sort)
|
||||
for mode in $MODES; do
|
||||
for name in $NAMES; do
|
||||
wait_all_up
|
||||
cid=$(docker inspect -f '{{.Id}}' "$name"); short=$(echo "$cid" | cut -c1-12)
|
||||
case $mode in
|
||||
stop) action="docker stop -t 20 $cid" ;;
|
||||
kill) action="docker kill $cid" ;;
|
||||
*) echo "unknown mode $mode" >&2; exit 2 ;;
|
||||
esac
|
||||
echo "== $mode $name ($short) $(date -u +%FT%TZ)"
|
||||
out=evidence/failover-$mode-$name.json
|
||||
python3 student-tests/failover_bench.py --label "$mode $name" \
|
||||
--concurrency "$CONCURRENCY" --duration "$DURATION" --action-at 10 \
|
||||
--action "$action" --target-instance "$short" \
|
||||
--action-log "${out%.json}.action.log" --output "$out" \
|
||||
| python3 -c 'import json,sys; t=sys.stdin.read(); s=json.loads(t[:t.rindex("}")+1]); print(json.dumps({k:s[k] for k in ("baseline_ok_rps","post_action_ok_rps","capacity_ratio","errors_total","errors_by_kind","error_window_s","recovery_s","target_last_seen_s","lb_events","lost_confirmed","duplicate_texts","pass")},ensure_ascii=False)); sys.exit(0 if s["pass"] else 1)'
|
||||
echo "-- state after action:"; docker compose ps -a --format '{{.Name}} {{.Status}}' api
|
||||
done
|
||||
done
|
||||
wait_all_up
|
||||
echo "== restored: $(docker compose ps --format '{{.Name}} {{.Status}}' api | tr '\n' ';')"
|
||||
Executable
+112
@@ -0,0 +1,112 @@
|
||||
#!/bin/sh
|
||||
# Создаёт локальные секреты и .env для учебного стенда. Повторный запуск ничего не перезаписывает.
|
||||
# Значения секретов не печатаются.
|
||||
#
|
||||
# S3 (SeaweedFS) — РАЗНЫЕ ключи с разными правами (secrets/s3_identities.json):
|
||||
# admin — Admin/Read/Write/List: только job s3-init (создание bucket);
|
||||
# api — Read+Write на bucket: staging PUT и выдача байтов, без List и без управления bucket;
|
||||
# worker — Read+Write на bucket: чтение staging, запись результатов, удаление staging;
|
||||
# janitor — List+Write на bucket: обход и удаление, без чтения содержимого.
|
||||
# RabbitMQ — пользователи с минимальными правами в vhost messenger (secrets/rabbitmq_definitions.json):
|
||||
# relay — только publish в exchange attachments;
|
||||
# worker — только consume из attachments.process.v1;
|
||||
# ops — consume из DLQ и publish в attachments (replay/учебные проверки).
|
||||
# Ни у кого из них нет права configure: топология создаётся из definitions при старте брокера.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
umask 077
|
||||
mkdir -p secrets
|
||||
chmod 700 secrets
|
||||
gen() { # gen <file> <bytes>
|
||||
if [ ! -s "secrets/$1" ]; then
|
||||
python3 -c "import secrets,sys; print(secrets.token_urlsafe(int(sys.argv[1])))" "$2" > "secrets/$1"
|
||||
echo "created secrets/$1"
|
||||
fi
|
||||
}
|
||||
gen postgres_password 24
|
||||
for who in admin api worker janitor; do
|
||||
if [ ! -s "secrets/s3_${who}_access_key" ]; then
|
||||
python3 -c "import secrets; print('MTUSI' + secrets.token_hex(8).upper())" > "secrets/s3_${who}_access_key"
|
||||
echo "created secrets/s3_${who}_access_key"
|
||||
fi
|
||||
gen "s3_${who}_secret_key" 30
|
||||
done
|
||||
for who in relay worker ops; do
|
||||
gen "broker_${who}_password" 24
|
||||
done
|
||||
BUCKET=$(grep -E '^S3_BUCKET=' .env 2>/dev/null | cut -d= -f2 || true)
|
||||
BUCKET=${BUCKET:-messenger-attachments}
|
||||
# Производные файлы пересобираются из базовых секретов (детерминированно, кроме соли хеша).
|
||||
python3 - "$BUCKET" <<'PY'
|
||||
import base64, hashlib, json, os, sys
|
||||
b = sys.argv[1]
|
||||
def read(name):
|
||||
return open("secrets/" + name).read().strip()
|
||||
def ident(name, actions):
|
||||
return {"name": name, "credentials": [{"accessKey": read("s3_%s_access_key" % name),
|
||||
"secretKey": read("s3_%s_secret_key" % name)}], "actions": actions}
|
||||
cfg = {"identities": [
|
||||
ident("admin", ["Admin", "Read", "List", "Tagging", "Write"]),
|
||||
ident("api", ["Read:" + b, "Write:" + b]),
|
||||
ident("worker", ["Read:" + b, "Write:" + b]),
|
||||
ident("janitor", ["List:" + b, "Write:" + b]),
|
||||
]}
|
||||
with open("secrets/s3_identities.json", "w") as f:
|
||||
json.dump(cfg, f, indent=1)
|
||||
|
||||
# RabbitMQ: rabbit_password_hashing_sha256 = base64(salt4 + sha256(salt4 + password)).
|
||||
def rmq_hash(password):
|
||||
salt = os.urandom(4)
|
||||
return base64.b64encode(salt + hashlib.sha256(salt + password.encode()).digest()).decode()
|
||||
vhost = "messenger"
|
||||
users, perms = [], []
|
||||
rights = {
|
||||
"relay": {"configure": "^$", "write": "^attachments$", "read": "^$"},
|
||||
"worker": {"configure": "^$", "write": "^$", "read": r"^attachments\.process\.v1$"},
|
||||
"ops": {"configure": "^$", "write": "^attachments$", "read": r"^attachments\.dlq$"},
|
||||
}
|
||||
for user, r in rights.items():
|
||||
password = read("broker_%s_password" % user)
|
||||
users.append({"name": user, "password_hash": rmq_hash(password),
|
||||
"hashing_algorithm": "rabbit_password_hashing_sha256", "tags": []})
|
||||
perms.append(dict(user=user, vhost=vhost, **r))
|
||||
with open("secrets/broker_%s_url" % user, "w") as f:
|
||||
f.write("amqp://%s:%s@broker:5672/%s\n" % (user, password, vhost))
|
||||
x = lambda name, kind: {"name": name, "vhost": vhost, "type": kind, "durable": True, "auto_delete": False,
|
||||
"internal": False, "arguments": {}}
|
||||
definitions = {
|
||||
"users": users,
|
||||
"vhosts": [{"name": vhost}],
|
||||
"permissions": perms,
|
||||
"exchanges": [x("attachments", "direct"), x("attachments.dlx", "fanout")],
|
||||
"queues": [
|
||||
# Quorum-очередь: durable, сообщения пишутся на диск (Raft-журнал) до publisher confirm.
|
||||
# delivery-limit: сообщение, которое 10 раз вернулось без ack (crash-loop worker),
|
||||
# уходит в DLQ. at-least-once dead-lettering требует overflow=reject-publish.
|
||||
{"name": "attachments.process.v1", "vhost": vhost, "durable": True, "auto_delete": False,
|
||||
"arguments": {"x-queue-type": "quorum", "x-delivery-limit": 10,
|
||||
"x-dead-letter-exchange": "attachments.dlx",
|
||||
"x-dead-letter-strategy": "at-least-once", "x-overflow": "reject-publish",
|
||||
"x-max-length": 100000}},
|
||||
{"name": "attachments.dlq", "vhost": vhost, "durable": True, "auto_delete": False,
|
||||
"arguments": {"x-queue-type": "quorum"}},
|
||||
],
|
||||
"bindings": [
|
||||
{"source": "attachments", "vhost": vhost, "destination": "attachments.process.v1",
|
||||
"destination_type": "queue", "routing_key": "attachment.process.v1", "arguments": {}},
|
||||
{"source": "attachments.dlx", "vhost": vhost, "destination": "attachments.dlq",
|
||||
"destination_type": "queue", "routing_key": "", "arguments": {}},
|
||||
],
|
||||
}
|
||||
if not os.path.exists("secrets/rabbitmq_definitions.json"):
|
||||
with open("secrets/rabbitmq_definitions.json", "w") as f:
|
||||
json.dump(definitions, f, indent=1)
|
||||
print("created secrets/rabbitmq_definitions.json")
|
||||
PY
|
||||
# Файлы монтируются в контейнеры (uid 70 postgres, uid 10001 app, uid 100 rabbitmq, root в seaweedfs) —
|
||||
# нужны на чтение; от других пользователей хоста их закрывает каталог secrets/ с правами 700.
|
||||
chmod 644 secrets/*
|
||||
if [ ! -f .env ]; then
|
||||
cp .env.example .env
|
||||
echo "created .env from .env.example"
|
||||
fi
|
||||
Executable
+11
@@ -0,0 +1,11 @@
|
||||
#!/bin/sh
|
||||
# Перезапуск ВСЕХ хранилищ (PostgreSQL, SeaweedFS S3, RabbitMQ) и всех потребителей
|
||||
# (API-реплики, relay, worker, janitor, LB) с сохранением volumes pgdata, s3data, brokerdata.
|
||||
# Не выполняет down -v, не пересоздаёт БД/bucket/очереди и не повторяет seed.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose restart db s3 broker
|
||||
# Потребители стартуют, когда хранилища действительно готовы (healthcheck s3 проверяет запись,
|
||||
# healthcheck broker — запущенный узел и объявленную очередь).
|
||||
docker compose up -d --no-deps --no-recreate --wait db s3 broker
|
||||
docker compose restart api relay worker janitor lb
|
||||
Executable
+57
@@ -0,0 +1,57 @@
|
||||
#!/bin/sh
|
||||
# Поочерёдная замена API-реплик на новую версию образа без остановки сервиса.
|
||||
# scripts/rolling-update.sh <APP_VERSION>
|
||||
# Порядок (expand -> replace):
|
||||
# 1. собрать новый образ (тот же тег mtusi-messenger:lab5, build-arg APP_VERSION);
|
||||
# 2. ОДИН раз применить миграции (job migrate). Допускаются только обратно совместимые
|
||||
# (expand-only) миграции: старые реплики продолжают работать на новой схеме;
|
||||
# 3. для каждой старой реплики: поднять +1 новую -> дождаться healthy и UP в HAProxy ->
|
||||
# штатно остановить (SIGTERM, drain) и удалить старую. Число обслуживающих реплик
|
||||
# не опускается ниже исходного.
|
||||
# 4. записать APP_VERSION в .env, чтобы следующий `docker compose up` не пересоздал всё разом.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
VERSION=${1:?usage: rolling-update.sh <APP_VERSION>}
|
||||
export APP_VERSION="$VERSION"
|
||||
ts() { date -u +%FT%TZ; }
|
||||
|
||||
lb_up_count() {
|
||||
curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1=="be_api" && $18=="UP"' | wc -l | tr -d ' '
|
||||
}
|
||||
# UP ли в HAProxy слот с адресом конкретного контейнера. Проверяем именно адрес, а не число
|
||||
# UP-серверов: новый контейнер может получить IP только что удалённого, и счётчик обманет.
|
||||
lb_has_up() {
|
||||
curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, -v a="$1:8080" '$1=="be_api" && $18=="UP" && $74==a' | grep -q .
|
||||
}
|
||||
|
||||
echo "$(ts) build version $VERSION"
|
||||
docker compose --env-file .env build api >/dev/null
|
||||
echo "$(ts) migrate (once)"
|
||||
docker compose --env-file .env run --rm --no-deps migrate
|
||||
|
||||
OLD=$(docker compose ps -q api)
|
||||
N=$(echo "$OLD" | wc -l | tr -d ' ')
|
||||
echo "$(ts) replacing $N replicas"
|
||||
for old in $OLD; do
|
||||
before=$(docker compose ps -q api | sort)
|
||||
docker compose --env-file .env up -d --no-deps --no-recreate --scale api=$((N + 1)) api >/dev/null 2>&1
|
||||
new=$(docker compose ps -q api | sort | grep -v -F "$before" | head -1)
|
||||
[ -n "$new" ] || { echo "new replica was not created" >&2; exit 1; }
|
||||
for _ in $(seq 1 60); do
|
||||
[ "$(docker inspect -f '{{.State.Health.Status}}' "$new")" = healthy ] && break; sleep 1
|
||||
done
|
||||
[ "$(docker inspect -f '{{.State.Health.Status}}' "$new")" = healthy ] || { echo "new replica not healthy" >&2; exit 1; }
|
||||
ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' "$new")
|
||||
for _ in $(seq 1 30); do lb_has_up "$ip" && break; sleep 0.5; done
|
||||
lb_has_up "$ip" || { echo "HAProxy did not mark new replica $ip UP" >&2; exit 1; }
|
||||
echo "$(ts) up $(docker inspect -f '{{.Name}}' "$new" | tr -d /) version=$(docker exec "$new" printenv APP_VERSION) ip=$ip UP in LB (UP slots: $(lb_up_count))"
|
||||
name=$(docker inspect -f '{{.Name}}' "$old" | tr -d /)
|
||||
docker stop -t 20 "$old" >/dev/null && docker rm "$old" >/dev/null
|
||||
echo "$(ts) gone $name (graceful SIGTERM)"
|
||||
done
|
||||
if grep -q '^APP_VERSION=' .env; then
|
||||
sed -i.bak "s/^APP_VERSION=.*/APP_VERSION=$VERSION/" .env && rm -f .env.bak
|
||||
else
|
||||
echo "APP_VERSION=$VERSION" >> .env
|
||||
fi
|
||||
echo "$(ts) done: $(docker compose ps --format '{{.Name}}' api | tr '\n' ' ')"
|
||||
Executable
+7
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
# Восстанавливает остановленные API-реплики и worker (после stop-one.sh / stop-worker.sh) и ждёт готовности.
|
||||
# --no-deps: хранилища и job-ы не трогаются; --no-recreate: те же контейнеры (тот же образ).
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose up -d --no-deps --no-recreate --wait api worker
|
||||
docker compose ps --format '{{.Name}} {{.Status}}' api worker
|
||||
Executable
+6
@@ -0,0 +1,6 @@
|
||||
#!/bin/sh
|
||||
# Запустить worker после stop-worker.sh (те же контейнеры) и дождаться готовности.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose up -d --no-deps --no-recreate --wait worker
|
||||
docker compose ps --format '{{.Name}} {{.Status}}' worker
|
||||
Executable
+19
@@ -0,0 +1,19 @@
|
||||
#!/bin/sh
|
||||
# Останавливает ОДНУ API-реплику, обслужившую тест, и оставляет её остановленной.
|
||||
# TARGET_INSTANCE_ID = X-Instance-Id = hostname контейнера = короткий ID контейнера.
|
||||
# DB, LB и volumes не трогаются. Восстановление: scripts/start-all.sh
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
|
||||
case "$TARGET_INSTANCE_ID" in
|
||||
*[!0-9a-f]*|'') echo "unexpected instance id format" >&2; exit 2 ;;
|
||||
esac
|
||||
# Проверяем, что это действительно запущенный контейнер сервиса api ЭТОГО compose-проекта.
|
||||
# Список берём у самого compose: работает и при другом имени проекта (-p / COMPOSE_PROJECT_NAME).
|
||||
cid=$(docker compose ps -q --status running api | grep "^${TARGET_INSTANCE_ID}" || true)
|
||||
[ -n "$cid" ] || { echo "no running api container for $TARGET_INSTANCE_ID" >&2; exit 3; }
|
||||
name=$(docker inspect -f '{{.Name}}' "$cid")
|
||||
echo "$(date -u +%FT%TZ) stopping api container ${name#/} (${TARGET_INSTANCE_ID})" >&2
|
||||
# SIGTERM -> graceful shutdown приложения (drain 3 с + дообслуживание), затем выход.
|
||||
docker stop -t 20 "$cid" >/dev/null
|
||||
echo "$(date -u +%FT%TZ) stopped ${name#/}" >&2
|
||||
Executable
+7
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
# Сценарий защиты: остановить ВСЕ worker (SIGTERM, текущие задания дорабатываются).
|
||||
# API, relay и брокер продолжают работать: upload -> 202, задания копятся в очереди.
|
||||
set -eu
|
||||
cd "$(dirname "$0")/.."
|
||||
docker compose stop worker
|
||||
docker compose ps --format '{{.Name}} {{.State}}' worker
|
||||
Reference in New Issue
Block a user