test(lab5): add chaos scripts, fault generation tool and evidence logs

This commit is contained in:
Голиков Maximillian Антон
2026-11-13 19:32:10 +03:00
parent e1bea0bc3e
commit 2c6c8e8a0b
9 changed files with 470 additions and 10 deletions
+5
View File
@@ -0,0 +1,5 @@
#!/bin/sh
set -eu
echo "Убиваем воркер (SIGKILL) для симуляции падения..."
docker compose kill -s SIGKILL worker
echo "Воркер убит. Задача должна зависнуть в статусе 'processing', пока Reconciler не вернет её в очередь."
+7
View File
@@ -0,0 +1,7 @@
#!/bin/sh
set -eu
echo "Ставим MinIO (S3) на паузу на 15 секунд для симуляции временной ошибки..."
docker compose pause minio
sleep 15
echo "Возобновляем работу MinIO..."
docker compose unpause minio
+3
View File
@@ -0,0 +1,3 @@
@echo off
bash "%~dp0restart.sh"
exit /b %errorlevel%
+21 -10
View File
@@ -1,14 +1,25 @@
#!/bin/sh
set -eu
# Перезапускает API и все хранилища состояния (PostgreSQL, Redis, MinIO),
# сохраняя тома и данные. Используется в `make test-persistence`.
#
# - `docker compose restart` останавливает и запускает существующие контейнеры;
# - именованные тома не затрагиваются (без `down`, без `-v`, без `rm`);
# - `migrate`/`mc-init` не перезапускаются: миграции уже применены,
# bucket уже создан, и то и другое сохраняется благодаря томам и хранилищам состояния.
cd "$(dirname "$0")/.."
docker compose restart postgres redis minio api
# Перезапускаем state stores, API и Worker
docker compose restart postgres redis minio rabbitmq api worker
i=0
while [ "$i" -lt 90 ]; do
# Проверяем статус всех нужных сервисов
unhealthy=$(docker compose ps --format '{{.Service}} {{.Health}}' \
| awk '$1 ~ /^(postgres|redis|minio|rabbitmq|api-[0-9]+)$/ && $2 != "healthy" {print $1}')
if [ -z "$unhealthy" ]; then
# Даем базе и пулам соединений 5 секунд стабилизироваться
sleep 5
exit 0
fi
i=$((i+1))
sleep 1
done
echo "основные сервисы не прошли проверку здоровья за 90 секунд: $unhealthy" >&2
docker compose ps >&2
exit 1
+2
View File
@@ -0,0 +1,2 @@
@echo off
bash "%~dp0stop-one.sh"