This commit is contained in:
Nurlygayanova Ekaterina
2026-11-05 19:36:11 +03:00
parent ec540a1a72
commit 354385e5f7
142 changed files with 13470 additions and 17 deletions
+108
View File
@@ -0,0 +1,108 @@
#!/bin/sh
# Создаёт локальные секреты стенда в каталоге secrets/ (он в .gitignore). Запускается один раз
# на чистом clone, до первого docker compose up: compose.yaml читает секреты из этих файлов.
#
# Запуск из любого каталога: sh scripts/init-secrets.sh
# Настройки через окружение: POSTGRES_USER, POSTGRES_DB (по умолчанию messenger).
# Повторный запуск безопасен: непустые файлы не перезаписываются, значения секретов не печатаются.
# Не удаляйте пароль при существующих томах: PostgreSQL задаёт пароль только при создании своего
# тома, и новый пароль с ним не совпадёт.
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
set -eu
# Перейти в корень проекта: все пути ниже указаны относительно него.
cd "$(dirname "$0")/.."
DIR=secrets
# Должны совпадать с POSTGRES_USER и POSTGRES_DB сервиса postgres в compose.yaml.
DB_USER="${POSTGRES_USER:-messenger}"
DB_NAME="${POSTGRES_DB:-messenger}"
# Новые файлы и каталог сразу доступны только владельцу: секрет не открыт ни на миг.
umask 077
mkdir -p "$DIR"
# Пароль PostgreSQL: 24 случайных байта в hex. -s: файла нет или он пуст.
if [ ! -s "$DIR/postgres_password" ]; then
# hex, чтобы пароль не требовал URL-экранирования в DSN.
od -An -tx1 -N24 /dev/urandom | tr -d ' \n' > "$DIR/postgres_password"
echo "init-secrets: created $DIR/postgres_password"
fi
# Строка подключения к БД для API и migrate. Хост postgres — имя сервиса в сети Compose.
# TLS выключен: подключение идёт только внутри сети учебного стенда.
if [ ! -s "$DIR/database_url" ]; then
pw="$(cat "$DIR/postgres_password")"
printf 'postgres://%s:%s@postgres:5432/%s?sslmode=disable' "$DB_USER" "$pw" "$DB_NAME" > "$DIR/database_url"
echo "init-secrets: created $DIR/database_url"
fi
# Пароль Valkey, в котором хранятся сессии.
if [ ! -s "$DIR/valkey_password" ]; then
od -An -tx1 -N24 /dev/urandom | tr -d ' \n' > "$DIR/valkey_password"
echo "init-secrets: created $DIR/valkey_password"
fi
# Адрес хранилища сессий для API.
if [ ! -s "$DIR/cache_url" ]; then
pw="$(cat "$DIR/valkey_password")"
printf 'redis://:%s@valkey:6379/0' "$pw" > "$DIR/cache_url"
echo "init-secrets: created $DIR/cache_url"
fi
# Пароль отдельного Valkey для кэша истории (необязательный профиль). Перевод строки в кавычках
# ниже — это символ для удаления, как \n в блоках выше.
if [ ! -s "$DIR/valkey_cache_password" ]; then
od -An -tx1 -N24 /dev/urandom | tr -d '
' > "$DIR/valkey_cache_password"
echo "init-secrets: created $DIR/valkey_cache_password"
fi
# Адрес кэша истории для API.
if [ ! -s "$DIR/history_cache_url" ]; then
pw="$(cat "$DIR/valkey_cache_password")"
printf 'redis://:%s@valkey-cache:6379/0' "$pw" > "$DIR/history_cache_url"
echo "init-secrets: created $DIR/history_cache_url"
fi
# Ключи S3, отдельные на каждую роль. Hex: значения не требуют экранирования в JSON.
# s3_* — API; s3_janitor_* — очиститель; s3_admin_* — только подготовка bucket (s3-init).
for role in s3 s3_janitor s3_admin; do
if [ ! -s "$DIR/${role}_access_key_id" ]; then
od -An -tx1 -N10 /dev/urandom | tr -d ' \n' > "$DIR/${role}_access_key_id"
echo "init-secrets: created $DIR/${role}_access_key_id"
fi
if [ ! -s "$DIR/${role}_secret_access_key" ]; then
od -An -tx1 -N20 /dev/urandom | tr -d ' \n' > "$DIR/${role}_secret_access_key"
echo "init-secrets: created $DIR/${role}_secret_access_key"
fi
done
# Пользователи SeaweedFS. Выводится из ключей выше и перезаписывается всегда, поэтому изменение прав
# здесь применяется и к уже созданному стенду (после перезапуска сервиса s3). Секретов не добавляет.
# Отсутствие записи anonymous означает, что запрос без подписи получает отказ: bucket приватный.
# Права на запись ограничены префиксом объектов, а не bucket: в SeaweedFS Write:<bucket> разрешает
# и PUT политики bucket, то есть позволил бы API сделать bucket публичным (найдено cmd/s3check).
BUCKET="$(sed -n 's/^S3_BUCKET=//p' .env 2>/dev/null || true)"
BUCKET="${BUCKET:-messenger-attachments}"
identity() {
printf '{"name":"%s","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":[%s]}' \
"$1" "$(cat "$DIR/$2_access_key_id")" "$(cat "$DIR/$2_secret_access_key")" "$3"
}
{
printf '{"identities":['
identity messenger-admin s3_admin '"Admin","Read","Write","List"'
printf ','
identity messenger-api s3 "\"Read:$BUCKET/originals/*\",\"Write:$BUCKET/originals/*\""
printf ','
identity messenger-janitor s3_janitor "\"List:$BUCKET\",\"Write:$BUCKET/originals/*\""
printf ']}'
} > "$DIR/s3_config"
# Каталог закрыт от других пользователей хоста. Сами файлы открыты на чтение: Compose монтирует
# их в контейнеры с правами хоста, а процессы там работают не от root (API — uid 100).
chmod 0700 "$DIR"
chmod 0644 "$DIR/postgres_password" "$DIR/database_url" "$DIR/valkey_password" "$DIR/cache_url" "$DIR/valkey_cache_password" "$DIR/history_cache_url" \
"$DIR/s3_access_key_id" "$DIR/s3_secret_access_key" \
"$DIR/s3_janitor_access_key_id" "$DIR/s3_janitor_secret_access_key" \
"$DIR/s3_admin_access_key_id" "$DIR/s3_admin_secret_access_key" "$DIR/s3_config"
+47
View File
@@ -0,0 +1,47 @@
#!/bin/sh
# Runs the level 3 checks; stops/restarts local services, preserving volumes.
set -eu
cd "$(dirname "$0")/.."
BASE_URL="${BASE_URL:-http://localhost:8080}"
PYTHON="${PYTHON:-python3}"
OUT="${OUT:-evidence/level3.txt}"
compose() { docker compose --env-file .env "$@"; }
step() { printf '\n=== %s\n' "$1"; }
restore() { compose up -d --wait >/dev/null 2>&1; }
main() {
date -u +%Y-%m-%dT%H:%M:%SZ
step "Обязательный API: smoke"
make test PYTHON="$PYTHON" BASE_URL="$BASE_URL"
step "Идемпотентность через две реплики"
(cd app && E2E_BASE_URL="$BASE_URL" go test -count=1 -v ./e2e)
step "Загрузка → остановка обслужившей реплики → скачивание через другую"
first=""
for attempt in 1 2; do
result="$($PYTHON student-tests/upload_failover.py --base-url "$BASE_URL" --avoid-instance "$first")"
printf '%s\n' "$result"
first="$(printf '%s\n' "$result" | sed -n 's/^STOPPED=//p')"
[ -n "$first" ]
restore
done
step "Публичный failover: сообщения и файл"
make test-failover PYTHON="$PYTHON" BASE_URL="$BASE_URL" ACTION_SCRIPT=scripts/stop-one.sh
restore
step "Недоступность S3 и восстановление"
"$PYTHON" student-tests/s3_outage.py --base-url "$BASE_URL"
step "Перезапуск всего стенда: файл, метаданные, прежний токен"
make test-persistence PYTHON="$PYTHON" BASE_URL="$BASE_URL" ACTION_SCRIPT=scripts/restart.sh
step "Итоговый smoke"
make test PYTHON="$PYTHON" BASE_URL="$BASE_URL"
echo "ИТОГ: все шаги уровня 3 пройдены"
}
# Capture the exit status without a pipe to tee: a failed test must fail this script.
set +e
( set -e; main ) >"$OUT" 2>&1
status=$?
set -e
restore || status=1
cat "$OUT"
if [ "$status" -ne 0 ]; then
printf '\nИТОГ: ПРОВЕРКА НЕ ПРОЙДЕНА, код %s\n' "$status" | tee -a "$OUT"
fi
exit "$status"
+118
View File
@@ -0,0 +1,118 @@
#!/bin/sh
# Прогоняет проверки уровня 4 на работающем стенде и пишет результат в evidence/level4.txt.
# Убивает и возвращает реплики API; volumes не удаляет, токены и ключи не печатает. Около 10 минут.
# Запуск: BASE_URL=http://localhost:8080 sh scripts/level4-evidence.sh
# Для замера 40 Мп нужен Pillow: .venv/bin/pip install pillow
set -eu
cd "$(dirname "$0")/.."
BASE_URL="${BASE_URL:-http://localhost:8080}"
PYTHON="${PYTHON:-python3}"
OUT="${OUT:-evidence/level4.txt}"
MEMORY_OUT="${MEMORY_OUT:-evidence/memory-peak.txt}"
compose() { docker compose --env-file .env "$@"; }
step() { printf '\n=== %s\n' "$1"; }
objects() { compose run --rm --no-deps -T janitor -once -dry-run 2>/dev/null | sed -n 's/.*"janitor_report":{"scanned":\([0-9]*\).*/\1/p'; }
fresh_replicas() {
# memory.peak считается с запуска контейнера, поэтому каждый замер начинается с перезапуска.
compose up -d --wait --force-recreate --no-deps api >/dev/null 2>&1
sleep 5
}
main() {
echo "date: $(date -u +%Y-%m-%dT%H:%M:%SZ)"
echo "commit: $(git rev-parse --short HEAD)$(test -z "$(git status --porcelain)" || echo +dirty)"
echo "host: $(uname -sm), docker $(docker version --format '{{.Server.Version}}'), $($PYTHON --version)"
step "Модульные тесты отказов и очистителя"
(cd app && go test -count=1 -v ./internal/janitor ./internal/api/http \
-run 'TestRun_|TestAttachment_(MetadataFailure|LostCommit|Uncheckable|Interrupted|TemporaryFile|ChunkedOverLimit|Rejections)|TestMessage_AttachmentRules' \
)
step "Отрицательные сценарии: слишком большой файл, повреждение, подмена MIME, чужое вложение, файл другого чата"
"$PYTHON" student-tests/attachments.py --base-url "$BASE_URL"
step "Bootstrap bucket идемпотентен: двойной запуск на существующем bucket с данными"
before="$(objects)"
compose run --rm --no-deps -T s3-init 2>/dev/null
compose run --rm --no-deps -T s3-init 2>/dev/null
after="$(objects)"
echo "объектов до: $before, после двух запусков: $after"
[ "$before" = "$after" ]
echo "PASS: повторная подготовка завершается успешно и не меняет объекты"
step "Права S3 и приватность bucket мимо API"
compose --profile tools run --rm --no-deps -T s3check 2>/dev/null
step "Секреты по сервисам: ключ администратора есть только у s3-init"
for service in api janitor; do
id="$(compose ps -q "$service" | head -n 1)"
names="$(docker inspect --format '{{range .Mounts}}{{.Destination}} {{end}}' "$id" | tr ' ' '\n' | sed -n 's|^/run/secrets/||p' | sort | tr '\n' ' ')"
echo "$service: $names"
case "$names" in *admin*) echo "FAIL: у $service есть ключ администратора"; return 1 ;; esac
done
echo "PASS: у API и очистителя нет ключа администратора"
step "Служебные интерфейсы SeaweedFS не открыты в сети"
s3="$(compose ps -q s3)"
gateway="$(compose ps -q s3-gateway)"
echo "опубликованные на хосте порты: s3=[$(docker port "$s3" | tr '\n' ';')] s3-gateway=[$(docker port "$gateway" | tr '\n' ';')]"
[ -z "$(docker port "$s3")" ]
# Direct uploads publish only the S3 data port, bound to localhost.
if docker port "$gateway" | grep -Ev '^9000/tcp -> 127\.0\.0\.1:19090$'; then
echo "FAIL: шлюз публикует лишний порт или внешний интерфейс"; return 1
fi
networks="$(docker inspect --format '{{range $name, $_ := .NetworkSettings.Networks}}{{$name}} {{end}}' "$s3")"
echo "сети контейнера s3: $networks"
[ "$(echo "$networks" | wc -w | tr -d ' ')" = 1 ]
network="$(echo "$networks" | tr -d ' ')"
echo "внутренняя сеть (internal=$(docker network inspect --format '{{.Internal}}' "$network")): $(docker network inspect --format '{{range .Containers}}{{.Name}} {{end}}' "$network")"
[ "$(docker network inspect --format '{{.Internal}}' "$network")" = true ]
[ "$(docker network inspect --format '{{len .Containers}}' "$network")" = 2 ]
echo "порты внутри контейнера s3 (доступны только из внутренней сети, кроме 127.0.0.1):"
docker exec "$s3" netstat -ltn 2>/dev/null | awk 'NR>2 {print " " $4}' | grep -v 127.0.0.11 | sort -u
echo "порты шлюза на всех интерфейсах:"
docker exec "$gateway" netstat -ltn 2>/dev/null | awk 'NR>2 {print $4}' | grep -v '^127\.' | sort -u | sed 's/^/ /'
if docker exec "$gateway" netstat -ltn 2>/dev/null | awk 'NR>2 {print $4}' | grep -v '^127\.' | grep -v ':9000$'; then
echo "FAIL: шлюз открывает лишний порт"; return 1
fi
echo "PASS: из сети стенда доступен только порт S3 через шлюз; консоли master и filer привязаны к 127.0.0.1"
step "Отказы между S3 и PostgreSQL"
"$PYTHON" student-tests/orphans.py --base-url "$BASE_URL"
echo "последний проход постоянно работающего очистителя:"
compose logs --no-log-prefix janitor 2>/dev/null | grep '"janitor pass"' | tail -n 1
for uploads in 16 24; do
step "Память: $uploads одновременных загрузок файлов 10 МиБ, потоковая обработка"
fresh_replicas
UPLOADS="$uploads" "$PYTHON" student-tests/memory_concurrent.py --base-url "$BASE_URL"
done
if [ -x .venv/bin/python ] && .venv/bin/python -c 'import PIL' 2>/dev/null; then
step "Память: худшие допустимые файлы, JPEG 40 Мп"
fresh_replicas
# Без конвейера: код выхода конвейера с tee скрыл бы провал замера.
if ! .venv/bin/python student-tests/memory_peak.py --base-url "$BASE_URL" >"$MEMORY_OUT" 2>&1; then
cat "$MEMORY_OUT"
return 1
fi
cat "$MEMORY_OUT"
fi
compose up -d --wait >/dev/null 2>&1
printf '\nИТОГ: все шаги уровня 4 пройдены\n'
}
# Причины такой конструкции описаны в level3-evidence.sh.
set +e
( set -e; main ) >"$OUT" 2>&1
status=$?
set -e
# Always restore the local stand, including when a failure test exits early.
compose up -d --wait >/dev/null 2>&1 || status=1
cat "$OUT"
if [ "$status" -ne 0 ]; then
printf '\nИТОГ: ПРОВЕРКА НЕ ПРОЙДЕНА, код %s\n' "$status" | tee -a "$OUT"
fi
exit "$status"
+24
View File
@@ -0,0 +1,24 @@
#!/bin/sh
# Перезапускает API, LB и все используемые хранилища с сохранением volumes.
# Без down -v, flush и повторного seed; migrate при up повторно ничего не применяет.
#
# Вызывается тестом сохранности: make test-persistence ACTION_SCRIPT=scripts/restart.sh
# Можно запускать и вручную из любого каталога: sh scripts/restart.sh
# Стенд на время перезапуска недоступен. Удаляет данные только down -v, здесь его нет.
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
set -eu
# Перейти в корень проекта: compose.yaml и .env ищутся в нём.
cd "$(dirname "$0")/.."
# docker compose с настройками стенда.
compose() { docker compose --env-file .env "$@"; }
# Сначала точка входа и API: они перестают принимать запросы и штатно завершают открытые,
# пока БД и сессии ещё доступны. Контейнеры останавливаются, но не удаляются.
compose stop lb api janitor
# Затем хранилища: штатная остановка, тома остаются на месте.
compose stop postgres valkey s3-gateway s3
# Запустить всё и дождаться готовности. Миграции уже применены, поэтому migrate ничего не меняет.
# Отказ на любом шаге завершит скрипт с ошибкой благодаря set -e.
compose up -d --wait
+34
View File
@@ -0,0 +1,34 @@
#!/bin/sh
# Останавливает одну реплику API, которую назвал тест, и оставляет её остановленной.
# TARGET_INSTANCE_ID — значение X-Instance-Id, то есть короткий ID контейнера.
# БД, сессии и LB не трогает. Восстановление: docker compose --env-file .env up -d --wait
#
# Вызывается тестом отказа: make test-failover ACTION_SCRIPT=scripts/stop-one.sh
# Вручную из любого каталога: TARGET_INSTANCE_ID=<короткий ID> sh scripts/stop-one.sh
# Код выхода: 0 — реплика остановлена, 2 — такой реплики нет.
# -e: выйти при ошибке команды; -u: считать ошибкой неизвестную переменную.
set -eu
# Перейти в корень проекта: compose.yaml и .env ищутся в нём.
cd "$(dirname "$0")/.."
# Без ID завершиться с этим сообщением: останавливать случайную реплику нельзя.
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
# Перебрать работающие API-контейнеры. Полные ID сравниваются с коротким по началу строки.
for id in $(docker compose --env-file .env ps -q api); do
case "$id" in
# Шаблон с *: совпадает полный ID, начинающийся с короткого.
"$TARGET_INSTANCE_ID"*)
# Штатная остановка: SIGTERM, реплика уходит из балансировки и завершает открытые запросы.
docker stop "$id" >/dev/null
# Первые 12 символов ID: в обычном sh нет записи ${id:0:12}.
echo "stopped api container ${id%"${id#????????????}"}"
exit 0
;;
esac
done
# Сюда дошли, только если ни один контейнер не подошёл: реплика уже остановлена или ID неверный.
echo "stop-one: no running api container matches the given instance id" >&2
exit 2