Files
mtusi2026lab5/scripts/init-secrets.sh
celis a4a7b9d41a Реализовать лабораторную 5: очередь RabbitMQ, worker и outbox
- upload возвращает 202 после записи оригинала в staging/ и одной
  транзакции attachments + jobs + outbox
- relay outbox → RabbitMQ (quorum-очередь, publisher confirms) в каждой
  реплике API; sweeper возвращает работу с истёкшей арендой
- worker: аренда с fencing-токеном, варианты thumbnail/crop/optimized
  (sharp), retry с backoff и jitter, реестр failed, replay с аудитом,
  reprocess новой версией pipeline
- reconciler дочищает staging/ и variants/
- сценарии уровней 3–4, fault-injection трека 2 (14 сценариев,
  инварианты I1–I6), evidence и REPORT.md
2026-10-31 00:31:54 +03:00

77 lines
4.7 KiB
Bash
Executable File
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
#!/bin/sh
# Создаёт локальные учебные секреты и .env (вне Git). Существующие ключи не перезаписывает: они уже записаны
# в volume pgdata и используются SeaweedFS. Повторный запуск только добавляет недостающее.
set -eu
cd "$(dirname "$0")/.."
[ -f .env ] || cp .env.example .env
mkdir -p secrets
chmod 700 secrets
put() {
[ -f "secrets/$1" ] && return 0
printf '%s' "$2" > "secrets/$1"
chmod 644 "secrets/$1" # читают пользователи контейнеров; сам каталог остаётся 700
echo "created secrets/$1"
}
if [ ! -f secrets/postgres_password ]; then
password=$(openssl rand -hex 24)
put postgres_password "$password"
put database_url "postgres://messenger:$password@postgres:5432/messenger"
fi
# Отдельные S3-ключи: admin — только bootstrap bucket (s3-init), api и worker — объекты, reconciler — объекты + листинг.
for who in admin api worker reconciler; do
put "s3_${who}_access_key_id" "$who$(openssl rand -hex 8)"
put "s3_${who}_secret_access_key" "$(openssl rand -hex 24)"
done
# Identities SeaweedFS выводятся из ключей и bucket, поэтому файл пересобирается при каждом запуске.
# Действие с суффиксом :bucket разрешено только в этом bucket; Admin (создание/удаление bucket) — только у admin.
# Анонимной identity нет: запрос без подписи получает 403.
bucket=$(sed -n 's/^S3_BUCKET=//p' .env)
bucket=${bucket:-messenger-attachments}
identity() {
printf '{"name":"%s","credentials":[{"accessKey":"%s","secretKey":"%s"}],"actions":[%s]}' \
"$1" "$(cat "secrets/s3_$1_access_key_id")" "$(cat "secrets/s3_$1_secret_access_key")" "$2"
}
umask 022
printf '{"identities":[%s,%s,%s,%s]}\n' \
"$(identity admin '"Admin","Read","List","Write"')" \
"$(identity api "\"Read:$bucket\",\"Write:$bucket\"")" \
"$(identity worker "\"Read:$bucket\",\"Write:$bucket\"")" \
"$(identity reconciler "\"Read:$bucket\",\"Write:$bucket\",\"List:$bucket\"")" > secrets/s3_identities.json
# RabbitMQ: отдельные пользователи api (только публикация в exchange attachments) и worker (только чтение
# очереди attachments.process), configure ни у кого — топология объявлена здесь и импортируется при старте узла.
# В definitions лежат только солёные хеши SHA-256 (формат rabbit_password_hashing_sha256), пароли — в broker_url_*.
for who in api worker; do
put "rabbitmq_${who}_password" "$(openssl rand -hex 24)"
put "broker_url_$who" "amqp://$who:$(cat "secrets/rabbitmq_${who}_password")@rabbitmq:5672/messenger?heartbeat=10"
done
python3 - > secrets/rabbitmq_definitions.json <<'PY'
import base64, hashlib, json, os
def user(name):
salt = os.urandom(4)
with open(f'secrets/rabbitmq_{name}_password', 'rb') as f:
digest = hashlib.sha256(salt + f.read()).digest()
return {'name': name, 'password_hash': base64.b64encode(salt + digest).decode(),
'hashing_algorithm': 'rabbit_password_hashing_sha256', 'tags': []}
vh = 'messenger'
print(json.dumps({
'users': [user('api'), user('worker')],
'vhosts': [{'name': vh}],
'permissions': [
{'user': 'api', 'vhost': vh, 'configure': '^$', 'write': '^attachments$', 'read': '^$'},
{'user': 'worker', 'vhost': vh, 'configure': '^$', 'write': '^$', 'read': '^attachments\\.process$'},
],
'exchanges': [{'name': 'attachments', 'vhost': vh, 'type': 'direct', 'durable': True, 'auto_delete': False,
'internal': False, 'arguments': {}}],
# Quorum-очередь: сообщение подтверждается publisher confirm после записи на диск (Raft-лог).
# delivery-limit: сообщение, которое worker 20 раз вернул без ack, отбрасывается; задание при этом остаётся в БД
# и будет опубликовано снова sweeper-ом (relay.ts) — источник истины о работе PostgreSQL, а не очередь.
'queues': [{'name': 'attachments.process', 'vhost': vh, 'durable': True, 'auto_delete': False,
'arguments': {'x-queue-type': 'quorum', 'x-delivery-limit': 20}}],
'bindings': [{'source': 'attachments', 'vhost': vh, 'destination': 'attachments.process',
'destination_type': 'queue', 'routing_key': 'process', 'arguments': {}}],
}, indent=2))
PY
echo "secrets/ and .env are ready (bucket $bucket)"