Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher confirms, manual ack, DLQ), transactional outbox, отдельный worker. - upload: оригинал в staging S3, затем одной транзакцией queued + jobs + outbox -> 202; API к брокеру не подключается - relay: публикация outbox с confirm, reaper истёкших аренд, redrive - worker: claim по строке jobs, аренда с heartbeat и fencing по lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом, thumbnail 256, crop 128, WebP 1280 по детерминированным ключам - retry с backoff и jitter, постоянные/временные ошибки, реестр failed, ops replay (ready не повторяется), DLQ для невалидных сообщений - janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4 - тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack, заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
51 lines
2.7 KiB
Bash
Executable File
51 lines
2.7 KiB
Bash
Executable File
#!/bin/sh
|
|
# Уровень 4: ПОСЛЕДОВАТЕЛЬНО останавливает КАЖДУЮ API-реплику под нагрузкой,
|
|
# восстанавливая предыдущую перед следующей. Режимы:
|
|
# stop — docker stop (SIGTERM -> graceful drain), штатная остановка/деплой;
|
|
# kill — docker kill (SIGKILL), внезапное падение процесса без drain.
|
|
# Результаты: evidence/failover-<mode>-<container>.json (+ .action.log).
|
|
# Использование: scripts/failover-each.sh [stop|kill] ... (по умолчанию: stop kill)
|
|
set -eu
|
|
cd "$(dirname "$0")/.."
|
|
MODES=${*:-stop kill}
|
|
CONCURRENCY=${CONCURRENCY:-8}
|
|
DURATION=${DURATION:-40}
|
|
mkdir -p evidence
|
|
|
|
wait_all_up() {
|
|
# API-контейнеры healthy и HAProxy видит их все UP (rise 2 * inter 1s).
|
|
./scripts/start-all.sh >/dev/null
|
|
n=$(docker compose ps -q api | wc -l | tr -d ' ')
|
|
for _ in $(seq 1 60); do
|
|
up=$(curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1=="be_api" && $18=="UP"' | wc -l | tr -d ' ')
|
|
[ "$up" -ge "$n" ] && return 0
|
|
sleep 1
|
|
done
|
|
echo "HAProxy did not mark all $n api servers UP" >&2; return 1
|
|
}
|
|
|
|
wait_all_up
|
|
# Список фиксируется один раз: остановленная реплика пропала бы из `docker compose ps`.
|
|
NAMES=$(docker compose ps --format '{{.Name}}' api | sort)
|
|
for mode in $MODES; do
|
|
for name in $NAMES; do
|
|
wait_all_up
|
|
cid=$(docker inspect -f '{{.Id}}' "$name"); short=$(echo "$cid" | cut -c1-12)
|
|
case $mode in
|
|
stop) action="docker stop -t 20 $cid" ;;
|
|
kill) action="docker kill $cid" ;;
|
|
*) echo "unknown mode $mode" >&2; exit 2 ;;
|
|
esac
|
|
echo "== $mode $name ($short) $(date -u +%FT%TZ)"
|
|
out=evidence/failover-$mode-$name.json
|
|
python3 student-tests/failover_bench.py --label "$mode $name" \
|
|
--concurrency "$CONCURRENCY" --duration "$DURATION" --action-at 10 \
|
|
--action "$action" --target-instance "$short" \
|
|
--action-log "${out%.json}.action.log" --output "$out" \
|
|
| python3 -c 'import json,sys; t=sys.stdin.read(); s=json.loads(t[:t.rindex("}")+1]); print(json.dumps({k:s[k] for k in ("baseline_ok_rps","post_action_ok_rps","capacity_ratio","errors_total","errors_by_kind","error_window_s","recovery_s","target_last_seen_s","lb_events","lost_confirmed","duplicate_texts","pass")},ensure_ascii=False)); sys.exit(0 if s["pass"] else 1)'
|
|
echo "-- state after action:"; docker compose ps -a --format '{{.Name}} {{.Status}}' api
|
|
done
|
|
done
|
|
wait_all_up
|
|
echo "== restored: $(docker compose ps --format '{{.Name}} {{.Status}}' api | tr '\n' ';')"
|