Перенесена реализация lab5 (API x2 за HAProxy, PostgreSQL, SeaweedFS S3, RabbitMQ, relay outbox, worker x2, janitor) без изменения бизнес-API. Наблюдаемость: - OpenTelemetry SDK в API, relay, worker, janitor: traces, metrics, logs по OTLP/HTTP; структурные JSON-логи с trace_id/span_id - OTel Collector (memory_limiter, batch, ограниченные очереди и retry), Prometheus (метрики, alert rules), Loki (логи), Tempo (трассы), Grafana с provisioning datasources и dashboard - W3C trace context API -> outbox -> RabbitMQ -> worker (parent-child, включая retry); метрики очереди, пула БД, загрузки worker, CPU/RAM - SLI/SLO, 10 alert rules с unit-тестами promtool и runbooks - инциденты: остановка worker, блокировка БД, отказ telemetry backend; по наблюдениям исправлен простой worker в цикле AMQP (разбор x2.4)
51 lines
2.7 KiB
Bash
Executable File
51 lines
2.7 KiB
Bash
Executable File
#!/bin/sh
|
|
# Уровень 4: ПОСЛЕДОВАТЕЛЬНО останавливает КАЖДУЮ API-реплику под нагрузкой,
|
|
# восстанавливая предыдущую перед следующей. Режимы:
|
|
# stop — docker stop (SIGTERM -> graceful drain), штатная остановка/деплой;
|
|
# kill — docker kill (SIGKILL), внезапное падение процесса без drain.
|
|
# Результаты: evidence/failover-<mode>-<container>.json (+ .action.log).
|
|
# Использование: scripts/failover-each.sh [stop|kill] ... (по умолчанию: stop kill)
|
|
set -eu
|
|
cd "$(dirname "$0")/.."
|
|
MODES=${*:-stop kill}
|
|
CONCURRENCY=${CONCURRENCY:-8}
|
|
DURATION=${DURATION:-40}
|
|
mkdir -p evidence
|
|
|
|
wait_all_up() {
|
|
# API-контейнеры healthy и HAProxy видит их все UP (rise 2 * inter 1s).
|
|
./scripts/start-all.sh >/dev/null
|
|
n=$(docker compose ps -q api | wc -l | tr -d ' ')
|
|
for _ in $(seq 1 60); do
|
|
up=$(curl -s 'http://127.0.0.1:8404/stats;csv' | awk -F, '$1=="be_api" && $18=="UP"' | wc -l | tr -d ' ')
|
|
[ "$up" -ge "$n" ] && return 0
|
|
sleep 1
|
|
done
|
|
echo "HAProxy did not mark all $n api servers UP" >&2; return 1
|
|
}
|
|
|
|
wait_all_up
|
|
# Список фиксируется один раз: остановленная реплика пропала бы из `docker compose ps`.
|
|
NAMES=$(docker compose ps --format '{{.Name}}' api | sort)
|
|
for mode in $MODES; do
|
|
for name in $NAMES; do
|
|
wait_all_up
|
|
cid=$(docker inspect -f '{{.Id}}' "$name"); short=$(echo "$cid" | cut -c1-12)
|
|
case $mode in
|
|
stop) action="docker stop -t 20 $cid" ;;
|
|
kill) action="docker kill $cid" ;;
|
|
*) echo "unknown mode $mode" >&2; exit 2 ;;
|
|
esac
|
|
echo "== $mode $name ($short) $(date -u +%FT%TZ)"
|
|
out=evidence/failover-$mode-$name.json
|
|
python3 student-tests/failover_bench.py --label "$mode $name" \
|
|
--concurrency "$CONCURRENCY" --duration "$DURATION" --action-at 10 \
|
|
--action "$action" --target-instance "$short" \
|
|
--action-log "${out%.json}.action.log" --output "$out" \
|
|
| python3 -c 'import json,sys; t=sys.stdin.read(); s=json.loads(t[:t.rindex("}")+1]); print(json.dumps({k:s[k] for k in ("baseline_ok_rps","post_action_ok_rps","capacity_ratio","errors_total","errors_by_kind","error_window_s","recovery_s","target_last_seen_s","lb_events","lost_confirmed","duplicate_texts","pass")},ensure_ascii=False)); sys.exit(0 if s["pass"] else 1)'
|
|
echo "-- state after action:"; docker compose ps -a --format '{{.Name}} {{.Status}}' api
|
|
done
|
|
done
|
|
wait_all_up
|
|
echo "== restored: $(docker compose ps --format '{{.Name}} {{.Status}}' api | tr '\n' ';')"
|