forked from mtusi2026/mtusi2026lab4
119 lines
7.0 KiB
Bash
Executable File
119 lines
7.0 KiB
Bash
Executable File
#!/bin/sh
|
||
# Прогоняет проверки уровня 4 на работающем стенде и пишет результат в evidence/level4.txt.
|
||
# Убивает и возвращает реплики API; volumes не удаляет, токены и ключи не печатает. Около 10 минут.
|
||
# Запуск: BASE_URL=http://localhost:8080 sh scripts/level4-evidence.sh
|
||
# Для замера 40 Мп нужен Pillow: .venv/bin/pip install pillow
|
||
set -eu
|
||
cd "$(dirname "$0")/.."
|
||
BASE_URL="${BASE_URL:-http://localhost:8080}"
|
||
PYTHON="${PYTHON:-python3}"
|
||
OUT="${OUT:-evidence/level4.txt}"
|
||
MEMORY_OUT="${MEMORY_OUT:-evidence/memory-peak.txt}"
|
||
|
||
compose() { docker compose --env-file .env "$@"; }
|
||
step() { printf '\n=== %s\n' "$1"; }
|
||
objects() { compose run --rm --no-deps -T janitor -once -dry-run 2>/dev/null | sed -n 's/.*"janitor_report":{"scanned":\([0-9]*\).*/\1/p'; }
|
||
fresh_replicas() {
|
||
# memory.peak считается с запуска контейнера, поэтому каждый замер начинается с перезапуска.
|
||
compose up -d --wait --force-recreate --no-deps api >/dev/null 2>&1
|
||
sleep 5
|
||
}
|
||
|
||
main() {
|
||
echo "date: $(date -u +%Y-%m-%dT%H:%M:%SZ)"
|
||
echo "commit: $(git rev-parse --short HEAD)$(test -z "$(git status --porcelain)" || echo +dirty)"
|
||
echo "host: $(uname -sm), docker $(docker version --format '{{.Server.Version}}'), $($PYTHON --version)"
|
||
|
||
step "Модульные тесты отказов и очистителя"
|
||
(cd app && go test -count=1 -v ./internal/janitor ./internal/api/http \
|
||
-run 'TestRun_|TestAttachment_(MetadataFailure|LostCommit|Uncheckable|Interrupted|TemporaryFile|ChunkedOverLimit|Rejections)|TestMessage_AttachmentRules' \
|
||
)
|
||
|
||
step "Отрицательные сценарии: слишком большой файл, повреждение, подмена MIME, чужое вложение, файл другого чата"
|
||
"$PYTHON" student-tests/attachments.py --base-url "$BASE_URL"
|
||
|
||
step "Bootstrap bucket идемпотентен: двойной запуск на существующем bucket с данными"
|
||
before="$(objects)"
|
||
compose run --rm --no-deps -T s3-init 2>/dev/null
|
||
compose run --rm --no-deps -T s3-init 2>/dev/null
|
||
after="$(objects)"
|
||
echo "объектов до: $before, после двух запусков: $after"
|
||
[ "$before" = "$after" ]
|
||
echo "PASS: повторная подготовка завершается успешно и не меняет объекты"
|
||
|
||
step "Права S3 и приватность bucket мимо API"
|
||
compose --profile tools run --rm --no-deps -T s3check 2>/dev/null
|
||
|
||
step "Секреты по сервисам: ключ администратора есть только у s3-init"
|
||
for service in api janitor; do
|
||
id="$(compose ps -q "$service" | head -n 1)"
|
||
names="$(docker inspect --format '{{range .Mounts}}{{.Destination}} {{end}}' "$id" | tr ' ' '\n' | sed -n 's|^/run/secrets/||p' | sort | tr '\n' ' ')"
|
||
echo "$service: $names"
|
||
case "$names" in *admin*) echo "FAIL: у $service есть ключ администратора"; return 1 ;; esac
|
||
done
|
||
echo "PASS: у API и очистителя нет ключа администратора"
|
||
|
||
step "Служебные интерфейсы SeaweedFS не открыты в сети"
|
||
s3="$(compose ps -q s3)"
|
||
gateway="$(compose ps -q s3-gateway)"
|
||
echo "опубликованные на хосте порты: s3=[$(docker port "$s3" | tr '\n' ';')] s3-gateway=[$(docker port "$gateway" | tr '\n' ';')]"
|
||
[ -z "$(docker port "$s3")" ]
|
||
# Direct uploads publish only the S3 data port, bound to localhost.
|
||
if docker port "$gateway" | grep -Ev '^9000/tcp -> 127\.0\.0\.1:19090$'; then
|
||
echo "FAIL: шлюз публикует лишний порт или внешний интерфейс"; return 1
|
||
fi
|
||
networks="$(docker inspect --format '{{range $name, $_ := .NetworkSettings.Networks}}{{$name}} {{end}}' "$s3")"
|
||
echo "сети контейнера s3: $networks"
|
||
[ "$(echo "$networks" | wc -w | tr -d ' ')" = 1 ]
|
||
network="$(echo "$networks" | tr -d ' ')"
|
||
echo "внутренняя сеть (internal=$(docker network inspect --format '{{.Internal}}' "$network")): $(docker network inspect --format '{{range .Containers}}{{.Name}} {{end}}' "$network")"
|
||
[ "$(docker network inspect --format '{{.Internal}}' "$network")" = true ]
|
||
[ "$(docker network inspect --format '{{len .Containers}}' "$network")" = 2 ]
|
||
echo "порты внутри контейнера s3 (доступны только из внутренней сети, кроме 127.0.0.1):"
|
||
docker exec "$s3" netstat -ltn 2>/dev/null | awk 'NR>2 {print " " $4}' | grep -v 127.0.0.11 | sort -u
|
||
echo "порты шлюза на всех интерфейсах:"
|
||
docker exec "$gateway" netstat -ltn 2>/dev/null | awk 'NR>2 {print $4}' | grep -v '^127\.' | sort -u | sed 's/^/ /'
|
||
if docker exec "$gateway" netstat -ltn 2>/dev/null | awk 'NR>2 {print $4}' | grep -v '^127\.' | grep -v ':9000$'; then
|
||
echo "FAIL: шлюз открывает лишний порт"; return 1
|
||
fi
|
||
echo "PASS: из сети стенда доступен только порт S3 через шлюз; консоли master и filer привязаны к 127.0.0.1"
|
||
|
||
step "Отказы между S3 и PostgreSQL"
|
||
"$PYTHON" student-tests/orphans.py --base-url "$BASE_URL"
|
||
echo "последний проход постоянно работающего очистителя:"
|
||
compose logs --no-log-prefix janitor 2>/dev/null | grep '"janitor pass"' | tail -n 1
|
||
|
||
for uploads in 16 24; do
|
||
step "Память: $uploads одновременных загрузок файлов 10 МиБ, потоковая обработка"
|
||
fresh_replicas
|
||
UPLOADS="$uploads" "$PYTHON" student-tests/memory_concurrent.py --base-url "$BASE_URL"
|
||
done
|
||
|
||
if [ -x .venv/bin/python ] && .venv/bin/python -c 'import PIL' 2>/dev/null; then
|
||
step "Память: худшие допустимые файлы, JPEG 40 Мп"
|
||
fresh_replicas
|
||
# Без конвейера: код выхода конвейера с tee скрыл бы провал замера.
|
||
if ! .venv/bin/python student-tests/memory_peak.py --base-url "$BASE_URL" >"$MEMORY_OUT" 2>&1; then
|
||
cat "$MEMORY_OUT"
|
||
return 1
|
||
fi
|
||
cat "$MEMORY_OUT"
|
||
fi
|
||
|
||
compose up -d --wait >/dev/null 2>&1
|
||
printf '\nИТОГ: все шаги уровня 4 пройдены\n'
|
||
}
|
||
|
||
# Причины такой конструкции описаны в level3-evidence.sh.
|
||
set +e
|
||
( set -e; main ) >"$OUT" 2>&1
|
||
status=$?
|
||
set -e
|
||
# Always restore the local stand, including when a failure test exits early.
|
||
compose up -d --wait >/dev/null 2>&1 || status=1
|
||
cat "$OUT"
|
||
if [ "$status" -ne 0 ]; then
|
||
printf '\nИТОГ: ПРОВЕРКА НЕ ПРОЙДЕНА, код %s\n' "$status" | tee -a "$OUT"
|
||
fi
|
||
exit "$status"
|