Files
mtusi2026lab4/scripts/level4-evidence.sh
T
2026-11-05 19:36:11 +03:00

119 lines
7.0 KiB
Bash
Executable File
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/sh
# Прогоняет проверки уровня 4 на работающем стенде и пишет результат в evidence/level4.txt.
# Убивает и возвращает реплики API; volumes не удаляет, токены и ключи не печатает. Около 10 минут.
# Запуск: BASE_URL=http://localhost:8080 sh scripts/level4-evidence.sh
# Для замера 40 Мп нужен Pillow: .venv/bin/pip install pillow
set -eu
cd "$(dirname "$0")/.."
BASE_URL="${BASE_URL:-http://localhost:8080}"
PYTHON="${PYTHON:-python3}"
OUT="${OUT:-evidence/level4.txt}"
MEMORY_OUT="${MEMORY_OUT:-evidence/memory-peak.txt}"
compose() { docker compose --env-file .env "$@"; }
step() { printf '\n=== %s\n' "$1"; }
objects() { compose run --rm --no-deps -T janitor -once -dry-run 2>/dev/null | sed -n 's/.*"janitor_report":{"scanned":\([0-9]*\).*/\1/p'; }
fresh_replicas() {
# memory.peak считается с запуска контейнера, поэтому каждый замер начинается с перезапуска.
compose up -d --wait --force-recreate --no-deps api >/dev/null 2>&1
sleep 5
}
main() {
echo "date: $(date -u +%Y-%m-%dT%H:%M:%SZ)"
echo "commit: $(git rev-parse --short HEAD)$(test -z "$(git status --porcelain)" || echo +dirty)"
echo "host: $(uname -sm), docker $(docker version --format '{{.Server.Version}}'), $($PYTHON --version)"
step "Модульные тесты отказов и очистителя"
(cd app && go test -count=1 -v ./internal/janitor ./internal/api/http \
-run 'TestRun_|TestAttachment_(MetadataFailure|LostCommit|Uncheckable|Interrupted|TemporaryFile|ChunkedOverLimit|Rejections)|TestMessage_AttachmentRules' \
)
step "Отрицательные сценарии: слишком большой файл, повреждение, подмена MIME, чужое вложение, файл другого чата"
"$PYTHON" student-tests/attachments.py --base-url "$BASE_URL"
step "Bootstrap bucket идемпотентен: двойной запуск на существующем bucket с данными"
before="$(objects)"
compose run --rm --no-deps -T s3-init 2>/dev/null
compose run --rm --no-deps -T s3-init 2>/dev/null
after="$(objects)"
echo "объектов до: $before, после двух запусков: $after"
[ "$before" = "$after" ]
echo "PASS: повторная подготовка завершается успешно и не меняет объекты"
step "Права S3 и приватность bucket мимо API"
compose --profile tools run --rm --no-deps -T s3check 2>/dev/null
step "Секреты по сервисам: ключ администратора есть только у s3-init"
for service in api janitor; do
id="$(compose ps -q "$service" | head -n 1)"
names="$(docker inspect --format '{{range .Mounts}}{{.Destination}} {{end}}' "$id" | tr ' ' '\n' | sed -n 's|^/run/secrets/||p' | sort | tr '\n' ' ')"
echo "$service: $names"
case "$names" in *admin*) echo "FAIL: у $service есть ключ администратора"; return 1 ;; esac
done
echo "PASS: у API и очистителя нет ключа администратора"
step "Служебные интерфейсы SeaweedFS не открыты в сети"
s3="$(compose ps -q s3)"
gateway="$(compose ps -q s3-gateway)"
echo "опубликованные на хосте порты: s3=[$(docker port "$s3" | tr '\n' ';')] s3-gateway=[$(docker port "$gateway" | tr '\n' ';')]"
[ -z "$(docker port "$s3")" ]
# Direct uploads publish only the S3 data port, bound to localhost.
if docker port "$gateway" | grep -Ev '^9000/tcp -> 127\.0\.0\.1:19090$'; then
echo "FAIL: шлюз публикует лишний порт или внешний интерфейс"; return 1
fi
networks="$(docker inspect --format '{{range $name, $_ := .NetworkSettings.Networks}}{{$name}} {{end}}' "$s3")"
echo "сети контейнера s3: $networks"
[ "$(echo "$networks" | wc -w | tr -d ' ')" = 1 ]
network="$(echo "$networks" | tr -d ' ')"
echo "внутренняя сеть (internal=$(docker network inspect --format '{{.Internal}}' "$network")): $(docker network inspect --format '{{range .Containers}}{{.Name}} {{end}}' "$network")"
[ "$(docker network inspect --format '{{.Internal}}' "$network")" = true ]
[ "$(docker network inspect --format '{{len .Containers}}' "$network")" = 2 ]
echo "порты внутри контейнера s3 (доступны только из внутренней сети, кроме 127.0.0.1):"
docker exec "$s3" netstat -ltn 2>/dev/null | awk 'NR>2 {print " " $4}' | grep -v 127.0.0.11 | sort -u
echo "порты шлюза на всех интерфейсах:"
docker exec "$gateway" netstat -ltn 2>/dev/null | awk 'NR>2 {print $4}' | grep -v '^127\.' | sort -u | sed 's/^/ /'
if docker exec "$gateway" netstat -ltn 2>/dev/null | awk 'NR>2 {print $4}' | grep -v '^127\.' | grep -v ':9000$'; then
echo "FAIL: шлюз открывает лишний порт"; return 1
fi
echo "PASS: из сети стенда доступен только порт S3 через шлюз; консоли master и filer привязаны к 127.0.0.1"
step "Отказы между S3 и PostgreSQL"
"$PYTHON" student-tests/orphans.py --base-url "$BASE_URL"
echo "последний проход постоянно работающего очистителя:"
compose logs --no-log-prefix janitor 2>/dev/null | grep '"janitor pass"' | tail -n 1
for uploads in 16 24; do
step "Память: $uploads одновременных загрузок файлов 10 МиБ, потоковая обработка"
fresh_replicas
UPLOADS="$uploads" "$PYTHON" student-tests/memory_concurrent.py --base-url "$BASE_URL"
done
if [ -x .venv/bin/python ] && .venv/bin/python -c 'import PIL' 2>/dev/null; then
step "Память: худшие допустимые файлы, JPEG 40 Мп"
fresh_replicas
# Без конвейера: код выхода конвейера с tee скрыл бы провал замера.
if ! .venv/bin/python student-tests/memory_peak.py --base-url "$BASE_URL" >"$MEMORY_OUT" 2>&1; then
cat "$MEMORY_OUT"
return 1
fi
cat "$MEMORY_OUT"
fi
compose up -d --wait >/dev/null 2>&1
printf '\nИТОГ: все шаги уровня 4 пройдены\n'
}
# Причины такой конструкции описаны в level3-evidence.sh.
set +e
( set -e; main ) >"$OUT" 2>&1
status=$?
set -e
# Always restore the local stand, including when a failure test exits early.
compose up -d --wait >/dev/null 2>&1 || status=1
cat "$OUT"
if [ "$status" -ne 0 ]; then
printf '\nИТОГ: ПРОВЕРКА НЕ ПРОЙДЕНА, код %s\n' "$status" | tee -a "$OUT"
fi
exit "$status"