test(lab5): add chaos scripts, fault generation tool and evidence logs
This commit is contained in:
@@ -0,0 +1,5 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
echo "Убиваем воркер (SIGKILL) для симуляции падения..."
|
||||
docker compose kill -s SIGKILL worker
|
||||
echo "Воркер убит. Задача должна зависнуть в статусе 'processing', пока Reconciler не вернет её в очередь."
|
||||
@@ -0,0 +1,7 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
echo "Ставим MinIO (S3) на паузу на 15 секунд для симуляции временной ошибки..."
|
||||
docker compose pause minio
|
||||
sleep 15
|
||||
echo "Возобновляем работу MinIO..."
|
||||
docker compose unpause minio
|
||||
@@ -0,0 +1,3 @@
|
||||
@echo off
|
||||
bash "%~dp0restart.sh"
|
||||
exit /b %errorlevel%
|
||||
+21
-10
@@ -1,14 +1,25 @@
|
||||
#!/bin/sh
|
||||
set -eu
|
||||
|
||||
# Перезапускает API и все хранилища состояния (PostgreSQL, Redis, MinIO),
|
||||
# сохраняя тома и данные. Используется в `make test-persistence`.
|
||||
#
|
||||
# - `docker compose restart` останавливает и запускает существующие контейнеры;
|
||||
# - именованные тома не затрагиваются (без `down`, без `-v`, без `rm`);
|
||||
# - `migrate`/`mc-init` не перезапускаются: миграции уже применены,
|
||||
# bucket уже создан, и то и другое сохраняется благодаря томам и хранилищам состояния.
|
||||
|
||||
cd "$(dirname "$0")/.."
|
||||
|
||||
docker compose restart postgres redis minio api
|
||||
# Перезапускаем state stores, API и Worker
|
||||
docker compose restart postgres redis minio rabbitmq api worker
|
||||
|
||||
i=0
|
||||
while [ "$i" -lt 90 ]; do
|
||||
# Проверяем статус всех нужных сервисов
|
||||
unhealthy=$(docker compose ps --format '{{.Service}} {{.Health}}' \
|
||||
| awk '$1 ~ /^(postgres|redis|minio|rabbitmq|api-[0-9]+)$/ && $2 != "healthy" {print $1}')
|
||||
|
||||
if [ -z "$unhealthy" ]; then
|
||||
# Даем базе и пулам соединений 5 секунд стабилизироваться
|
||||
sleep 5
|
||||
exit 0
|
||||
fi
|
||||
i=$((i+1))
|
||||
sleep 1
|
||||
done
|
||||
|
||||
echo "основные сервисы не прошли проверку здоровья за 90 секунд: $unhealthy" >&2
|
||||
docker compose ps >&2
|
||||
exit 1
|
||||
@@ -0,0 +1,2 @@
|
||||
@echo off
|
||||
bash "%~dp0stop-one.sh"
|
||||
Reference in New Issue
Block a user