Реализовать лабораторную 4: вложения в S3 и согласованность с БД

- приватный bucket SeaweedFS за S3-шлюзом, отдельные identities
  admin/api/reconciler, анонимный доступ запрещён
- потоковый upload с проверкой PNG/JPEG (CRC, распаковка со сверкой
  объёма, лимит пикселей до распаковки) без буферизации тела
- скачивание через авторизованный API; компенсация неудачной загрузки:
  сначала pending-строка, затем объект
- reconciler БД ↔ S3 с grace period: stale_pending, orphan_object,
  missing_object, size/checksum mismatch, обратимый карантин lost
- сценарии отказов S3, замер памяти загрузок, трек 2, evidence и REPORT.md
This commit is contained in:
celis
2026-10-31 00:31:54 +03:00
parent ec540a1a72
commit 04458025fb
58 changed files with 4549 additions and 17 deletions
+58
View File
@@ -0,0 +1,58 @@
#!/bin/sh
# Проверка приватности bucket и минимальных прав вне API (уровень 4). Ничего не меняет, кроме
# временного объекта probe/* (создаётся и сразу удаляется ключом api) — и повторного запуска s3-init.
set -eu
cd "$(dirname "$0")/.."
fail=0
expect() { # описание, ожидаемое, фактическое
if [ "$2" = "$3" ]; then echo "PASS $1: $3"; else echo "FAIL $1: ожидалось $2, получено $3"; fail=1; fi
}
key=$(docker compose exec -T postgres psql -U messenger -d messenger -tAc "SELECT object_key FROM attachments WHERE state = 'ready' LIMIT 1")
[ -n "$key" ] || { echo "нужно хотя бы одно вложение: сначала make test"; exit 2; }
bucket=$(docker compose exec -T api printenv S3_BUCKET)
# 1. Анонимный доступ напрямую к S3-шлюзу из сети backend (минуя API): без подписи — 403.
anon() { docker compose exec -T api node -e 'fetch(process.argv[1], { method: process.argv[2], body: process.argv[2] === "PUT" ? "x" : undefined }).then((r) => console.log(r.status), () => console.log("error"))' "$@"; }
expect "анонимный GET объекта" 403 "$(anon "http://s3:9000/$bucket/$key" GET)"
expect "анонимный LIST bucket" 403 "$(anon "http://s3:9000/$bucket?list-type=2" GET)"
expect "анонимный PUT объекта" 403 "$(anon "http://s3:9000/$bucket/originals/anonymous" PUT)"
# 2. Ключи api и reconciler: только свой bucket и только нужные действия.
for svc in api reconciler; do
docker compose exec -T "$svc" node --input-type=module - "$key" < student-tests/s3_probe.mjs | while read -r line; do echo " $svc $line"; done
done
probe() { docker compose exec -T "$1" node --input-type=module - "$key" < student-tests/s3_probe.mjs | awk -v op="$2: " 'index($0, op) == 1 {split(substr($0, length(op) + 1), w, " "); print w[1]}'; }
expect "api GetObject" allowed "$(probe api 'GetObject own bucket')"
expect "api ListObjectsV2 (не нужен API)" denied "$(probe api 'ListObjectsV2 own bucket')"
expect "api CreateBucket" denied "$(probe api 'CreateBucket other')"
expect "api PutObject в чужой bucket" denied "$(probe api 'PutObject other bucket')"
expect "reconciler ListObjectsV2" allowed "$(probe reconciler 'ListObjectsV2 own bucket')"
expect "reconciler CreateBucket" denied "$(probe reconciler 'CreateBucket other')"
# 3. Внутренние интерфейсы SeaweedFS (filer/master/volume без подписи S3) недоступны из API: другая сеть.
for port in 8888 9333 8080; do
if docker compose exec -T api wget -T 2 -q -O /dev/null "http://seaweedfs:$port/" 2>/dev/null; then r=reachable; else r=unreachable; fi
expect "seaweedfs:$port из контейнера api" unreachable "$r"
done
# Не только DNS: и по IP в сети storage маршрута из backend нет.
ip=$(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' "$(docker compose ps -q seaweedfs)")
if docker compose exec -T api wget -T 2 -q -O /dev/null "http://$ip:8888/" 2>/dev/null; then r=reachable; else r=unreachable; fi
expect "filer по IP $ip:8888 из контейнера api" unreachable "$r"
# 4. На хост опубликован только LB (API и статистика HAProxy на 127.0.0.1); S3 и консоли — нет.
published=$(for id in $(docker compose ps -q); do
[ -n "$(docker port "$id")" ] && docker inspect -f '{{index .Config.Labels "com.docker.compose.service"}}' "$id"
done | sort -u | tr '\n' ' ')
expect "сервисы с опубликованными портами" "lb " "$published"
# 5. Оригинал на API не хранится: корневая ФС реплик только для чтения, смонтированы лишь Docker secrets.
for id in $(docker compose ps -q api); do
expect "api $(echo "$id" | cut -c1-12) ReadonlyRootfs" true "$(docker inspect -f '{{.HostConfig.ReadonlyRootfs}}' "$id")"
expect "api $(echo "$id" | cut -c1-12) монтирования кроме /run/secrets" "" \
"$(docker inspect -f '{{range .Mounts}}{{.Destination}} {{end}}' "$id" | tr ' ' '\n' | awk 'NF && index($0, "/run/secrets/") != 1' | tr '\n' ' ')"
done
# 6. Bootstrap идемпотентен: повторный s3-init не создаёт и не ломает bucket.
expect "повторный s3-init" "bucket $bucket: exists" "$(docker compose run --rm -T s3-init 2>/dev/null | tail -1)"
[ "$fail" = 0 ] && echo "PASS: bucket приватен, права минимальны, внутренние порты закрыты" || exit 1
+40
View File
@@ -0,0 +1,40 @@
#!/bin/sh
# Создаёт локальные учебные секреты и .env (вне Git). Существующие ключи не перезаписывает: они уже записаны
# в volume pgdata и используются SeaweedFS. Повторный запуск только добавляет недостающее.
set -eu
cd "$(dirname "$0")/.."
[ -f .env ] || cp .env.example .env
mkdir -p secrets
chmod 700 secrets
put() {
[ -f "secrets/$1" ] && return 0
printf '%s' "$2" > "secrets/$1"
chmod 644 "secrets/$1" # читают пользователи контейнеров; сам каталог остаётся 700
echo "created secrets/$1"
}
if [ ! -f secrets/postgres_password ]; then
password=$(openssl rand -hex 24)
put postgres_password "$password"
put database_url "postgres://messenger:$password@postgres:5432/messenger"
fi
# Отдельные S3-ключи: admin — только bootstrap bucket (s3-init), api — объекты, reconciler — объекты + листинг.
for who in admin api reconciler; do
put "s3_${who}_access_key_id" "$who$(openssl rand -hex 8)"
put "s3_${who}_secret_access_key" "$(openssl rand -hex 24)"
done
# Identities SeaweedFS выводятся из ключей и bucket, поэтому файл пересобирается при каждом запуске.
# Действие с суффиксом :bucket разрешено только в этом bucket; Admin (создание/удаление bucket) — только у admin.
# Анонимной identity нет: запрос без подписи получает 403.
bucket=$(sed -n 's/^S3_BUCKET=//p' .env)
bucket=${bucket:-messenger-attachments}
identity() {
printf '{"name":"%s","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":[%s]}' \
"$1" "$(cat "secrets/s3_$1_access_key_id")" "$(cat "secrets/s3_$1_secret_access_key")" "$2"
}
umask 022
printf '{"identities":[%s,%s,%s]}\n' \
"$(identity admin '"Admin","Read","List","Write"')" \
"$(identity api "\"Read:$bucket\",\"Write:$bucket\"")" \
"$(identity reconciler "\"Read:$bucket\",\"Write:$bucket\",\"List:$bucket\"")" > secrets/s3_identities.json
echo "secrets/ and .env are ready (bucket $bucket)"
+10
View File
@@ -0,0 +1,10 @@
#!/bin/sh
# Перезапускает LB, все API-реплики, reconciler, PostgreSQL и SeaweedFS (хранилище + S3-шлюз).
# Volumes pgdata и s3data, схема и bucket сохраняются; migrate и s3-init при повторе ничего не меняют.
set -eu
cd "$(dirname "$0")/.."
docker compose stop lb api reconciler # штатный SIGTERM, реплики сначала завершают запросы
docker compose stop s3
docker compose restart postgres seaweedfs # те же контейнеры и те же volumes
docker compose start s3
docker compose start api reconciler lb
+14
View File
@@ -0,0 +1,14 @@
#!/bin/sh
# Останавливает ровно ту API-реплику, чей X-Instance-Id передан в TARGET_INSTANCE_ID, и оставляет её остановленной.
# X-Instance-Id = hostname контейнера = первые 12 hex-символов ID контейнера.
# Восстановление после теста: docker compose start api
set -eu
: "${TARGET_INSTANCE_ID:?test provides target API instance alias}"
cd "$(dirname "$0")/.."
case "$TARGET_INSTANCE_ID" in
*[!0-9a-f]* | "") echo "unexpected instance id" >&2; exit 2 ;;
esac
ids=$(docker compose ps -q api | grep "^$TARGET_INSTANCE_ID" || true)
[ "$(printf '%s\n' "$ids" | grep -c .)" -eq 1 ] || { echo "no single running api container for $TARGET_INSTANCE_ID" >&2; exit 1; }
docker stop "$ids" >/dev/null # SIGTERM → readiness 503 → drain → выход (около 3 с)
echo "stopped $(docker inspect -f '{{.Name}}' "$ids") ($TARGET_INSTANCE_ID)"