Перенос lab3 и вложения в приватном S3 (SeaweedFS 4.50).
- POST /chats/{id}/attachments: потоковый приём PNG/JPEG в безымянный
временный файл, SHA-256 на лету, лимиты 10 MiB / 40 Мпикс до чтения
и декодирования, проверка MIME по содержимому, валидация filename.
- Порядок записи pending -> S3 PUT -> ready с компенсацией; janitor
сверяет БД и bucket (dry-run, grace period, advisory lock).
- GET /attachments/{id} и /content только участникам чата, без redirect;
attachment_ids в сообщениях с проверкой принадлежности чату.
- Отдельные S3-ключи api/janitor/admin с ограниченными правами,
идемпотентный bootstrap bucket, служебные порты SeaweedFS закрыты.
- Ограничение параллельных S3 PUT и MALLOC_ARENA_MAX: пик RSS API
178-189 -> 95-102 MiB; лимиты памяти и restart для SeaweedFS после OOM.
- Тесты уровня 4 (негативные, failover вложений, отказы S3/БД, память)
и доказательства в evidence/, заполнен REPORT.md.
54 lines
2.5 KiB
Bash
Executable File
54 lines
2.5 KiB
Bash
Executable File
#!/bin/sh
|
|
# Создаёт локальные секреты и .env для учебного стенда. Повторный запуск ничего не перезаписывает.
|
|
# Значения секретов не печатаются.
|
|
#
|
|
# S3 (SeaweedFS) — три РАЗНЫХ набора ключей с разными правами (secrets/s3_identities.json):
|
|
# admin — Admin/Read/Write/List: только job s3-init (создание bucket);
|
|
# api — Read+Write на bucket: без List, без создания/удаления bucket, без политик;
|
|
# janitor — List+Write на bucket: обход и удаление, без чтения содержимого.
|
|
set -eu
|
|
cd "$(dirname "$0")/.."
|
|
umask 077
|
|
mkdir -p secrets
|
|
chmod 700 secrets
|
|
gen() { # gen <file> <bytes>
|
|
if [ ! -s "secrets/$1" ]; then
|
|
python3 -c "import secrets,sys; print(secrets.token_urlsafe(int(sys.argv[1])))" "$2" > "secrets/$1"
|
|
echo "created secrets/$1"
|
|
fi
|
|
}
|
|
gen postgres_password 24
|
|
for who in admin api janitor; do
|
|
if [ ! -s "secrets/s3_${who}_access_key" ]; then
|
|
python3 -c "import secrets; print('MTUSI' + secrets.token_hex(8).upper())" > "secrets/s3_${who}_access_key"
|
|
echo "created secrets/s3_${who}_access_key"
|
|
fi
|
|
gen "s3_${who}_secret_key" 30
|
|
done
|
|
BUCKET=$(grep -E '^S3_BUCKET=' .env 2>/dev/null | cut -d= -f2 || true)
|
|
BUCKET=${BUCKET:-messenger-attachments}
|
|
# Конфигурация identities SeaweedFS пересобирается из ключей (детерминированно).
|
|
python3 - "$BUCKET" <<'PY'
|
|
import json, sys
|
|
b = sys.argv[1]
|
|
def key(who, kind):
|
|
return open("secrets/s3_%s_%s_key" % (who, kind)).read().strip()
|
|
def ident(name, actions):
|
|
return {"name": name, "credentials": [{"accessKey": key(name, "access"), "secretKey": key(name, "secret")}],
|
|
"actions": actions}
|
|
cfg = {"identities": [
|
|
ident("admin", ["Admin", "Read", "List", "Tagging", "Write"]),
|
|
ident("api", ["Read:" + b, "Write:" + b]),
|
|
ident("janitor", ["List:" + b, "Write:" + b]),
|
|
]}
|
|
with open("secrets/s3_identities.json", "w") as f:
|
|
json.dump(cfg, f, indent=1)
|
|
PY
|
|
# Файлы монтируются в контейнеры (uid 70 postgres, uid 10001 app, root в seaweedfs) — нужны на чтение;
|
|
# от других пользователей хоста их закрывает каталог secrets/ с правами 700.
|
|
chmod 644 secrets/*
|
|
if [ ! -f .env ]; then
|
|
cp .env.example .env
|
|
echo "created .env from .env.example"
|
|
fi
|