- upload возвращает 202 после записи оригинала в staging/ и одной транзакции attachments + jobs + outbox - relay outbox → RabbitMQ (quorum-очередь, publisher confirms) в каждой реплике API; sweeper возвращает работу с истёкшей арендой - worker: аренда с fencing-токеном, варианты thumbnail/crop/optimized (sharp), retry с backoff и jitter, реестр failed, replay с аудитом, reprocess новой версией pipeline - reconciler дочищает staging/ и variants/ - сценарии уровней 3–4, fault-injection трека 2 (14 сценариев, инварианты I1–I6), evidence и REPORT.md
77 lines
4.7 KiB
Bash
Executable File
77 lines
4.7 KiB
Bash
Executable File
#!/bin/sh
|
||
# Создаёт локальные учебные секреты и .env (вне Git). Существующие ключи не перезаписывает: они уже записаны
|
||
# в volume pgdata и используются SeaweedFS. Повторный запуск только добавляет недостающее.
|
||
set -eu
|
||
cd "$(dirname "$0")/.."
|
||
[ -f .env ] || cp .env.example .env
|
||
mkdir -p secrets
|
||
chmod 700 secrets
|
||
put() {
|
||
[ -f "secrets/$1" ] && return 0
|
||
printf '%s' "$2" > "secrets/$1"
|
||
chmod 644 "secrets/$1" # читают пользователи контейнеров; сам каталог остаётся 700
|
||
echo "created secrets/$1"
|
||
}
|
||
if [ ! -f secrets/postgres_password ]; then
|
||
password=$(openssl rand -hex 24)
|
||
put postgres_password "$password"
|
||
put database_url "postgres://messenger:$password@postgres:5432/messenger"
|
||
fi
|
||
# Отдельные S3-ключи: admin — только bootstrap bucket (s3-init), api и worker — объекты, reconciler — объекты + листинг.
|
||
for who in admin api worker reconciler; do
|
||
put "s3_${who}_access_key_id" "$who$(openssl rand -hex 8)"
|
||
put "s3_${who}_secret_access_key" "$(openssl rand -hex 24)"
|
||
done
|
||
|
||
# Identities SeaweedFS выводятся из ключей и bucket, поэтому файл пересобирается при каждом запуске.
|
||
# Действие с суффиксом :bucket разрешено только в этом bucket; Admin (создание/удаление bucket) — только у admin.
|
||
# Анонимной identity нет: запрос без подписи получает 403.
|
||
bucket=$(sed -n 's/^S3_BUCKET=//p' .env)
|
||
bucket=${bucket:-messenger-attachments}
|
||
identity() {
|
||
printf '{"name":"%s","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":[%s]}' \
|
||
"$1" "$(cat "secrets/s3_$1_access_key_id")" "$(cat "secrets/s3_$1_secret_access_key")" "$2"
|
||
}
|
||
umask 022
|
||
printf '{"identities":[%s,%s,%s,%s]}\n' \
|
||
"$(identity admin '"Admin","Read","List","Write"')" \
|
||
"$(identity api "\"Read:$bucket\",\"Write:$bucket\"")" \
|
||
"$(identity worker "\"Read:$bucket\",\"Write:$bucket\"")" \
|
||
"$(identity reconciler "\"Read:$bucket\",\"Write:$bucket\",\"List:$bucket\"")" > secrets/s3_identities.json
|
||
|
||
# RabbitMQ: отдельные пользователи api (только публикация в exchange attachments) и worker (только чтение
|
||
# очереди attachments.process), configure ни у кого — топология объявлена здесь и импортируется при старте узла.
|
||
# В definitions лежат только солёные хеши SHA-256 (формат rabbit_password_hashing_sha256), пароли — в broker_url_*.
|
||
for who in api worker; do
|
||
put "rabbitmq_${who}_password" "$(openssl rand -hex 24)"
|
||
put "broker_url_$who" "amqp://$who:$(cat "secrets/rabbitmq_${who}_password")@rabbitmq:5672/messenger?heartbeat=10"
|
||
done
|
||
python3 - > secrets/rabbitmq_definitions.json <<'PY'
|
||
import base64, hashlib, json, os
|
||
def user(name):
|
||
salt = os.urandom(4)
|
||
with open(f'secrets/rabbitmq_{name}_password', 'rb') as f:
|
||
digest = hashlib.sha256(salt + f.read()).digest()
|
||
return {'name': name, 'password_hash': base64.b64encode(salt + digest).decode(),
|
||
'hashing_algorithm': 'rabbit_password_hashing_sha256', 'tags': []}
|
||
vh = 'messenger'
|
||
print(json.dumps({
|
||
'users': [user('api'), user('worker')],
|
||
'vhosts': [{'name': vh}],
|
||
'permissions': [
|
||
{'user': 'api', 'vhost': vh, 'configure': '^$', 'write': '^attachments$', 'read': '^$'},
|
||
{'user': 'worker', 'vhost': vh, 'configure': '^$', 'write': '^$', 'read': '^attachments\\.process$'},
|
||
],
|
||
'exchanges': [{'name': 'attachments', 'vhost': vh, 'type': 'direct', 'durable': True, 'auto_delete': False,
|
||
'internal': False, 'arguments': {}}],
|
||
# Quorum-очередь: сообщение подтверждается publisher confirm после записи на диск (Raft-лог).
|
||
# delivery-limit: сообщение, которое worker 20 раз вернул без ack, отбрасывается; задание при этом остаётся в БД
|
||
# и будет опубликовано снова sweeper-ом (relay.ts) — источник истины о работе PostgreSQL, а не очередь.
|
||
'queues': [{'name': 'attachments.process', 'vhost': vh, 'durable': True, 'auto_delete': False,
|
||
'arguments': {'x-queue-type': 'quorum', 'x-delivery-limit': 20}}],
|
||
'bindings': [{'source': 'attachments', 'vhost': vh, 'destination': 'attachments.process',
|
||
'destination_type': 'queue', 'routing_key': 'process', 'arguments': {}}],
|
||
}, indent=2))
|
||
PY
|
||
echo "secrets/ and .env are ready (bucket $bucket)"
|