Files
mtusi2026lab7/scripts/init_secrets.py
T

207 lines
12 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Секреты учебного стенда lab7 (только stdlib). Запускает оператор ПОСЛЕ scripts/pki.py init.
Создаёт недостающее, существующее не трогает (иначе разошлось бы с данными в volumes):
Для серверов (монтируются в СВОЙ контейнер, приложение их не видит):
secrets/postgres_password пароль владельца БД messenger (контейнер postgres при initdb)
secrets/redis/users.acl начальный ACL Redis: default off, admin (оператор), api (приложение);
в файле SHA-256 паролей, не сами пароли. Redis копирует его в свой volume
при первом старте, дальше ACL меняется командами (ротация).
secrets/s3_config.json ключи SeaweedFS: s3-init (admin), api, worker, janitor — права по prefix
secrets/rabbitmq_definitions.json vhost, очереди, пользователи worker/dispatcher БЕЗ пароля (вход только
по клиентскому сертификату, EXTERNAL) и их права
secrets/grafana_admin_password вход в Grafana (admin)
Только оператору (никуда не монтируются):
secrets/operator/app-secrets.json учётные данные приложений -> загружаются в OpenBao (scripts/bao.py configure),
после загрузки файл удаляется; дальше источник истины — OpenBao
secrets/operator/redis_admin_password, secrets/operator/postgres_owner_password — для ротации и диагностики
Значения не печатаются. Права файлов: каталоги 0700; файлы, которые читает контейнер под своим uid, — 0644
(на Windows/Docker Desktop права bind mount не применяются, защита — сам каталог пользователя).
"""
import hashlib
import json
import os
import secrets
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
SECRETS = Path(os.environ.get("SECRETS_DIR", ROOT / "secrets"))
OPERATOR = SECRETS / "operator"
BROKER_VHOST = "messenger"
# Имена из pipeline.py (скрипт не импортирует код приложения, чтобы работать без зависимостей).
EXCHANGE, QUEUE, ROUTING_KEY = "attachments", "attachments.process.v1", "attachment.process.v1"
DLX, DLQ, DLQ_ROUTING_KEY = "attachments.dlx", "attachments.process.v1.dlq", "attachment.process.v1.dlq"
def write(path: Path, value: str, private: bool = False) -> None:
path.parent.mkdir(parents=True, exist_ok=True)
with open(path, "w", encoding="utf-8", newline="") as file:
file.write(value)
path.chmod(0o600 if private else 0o644)
def read(path: Path) -> str:
return path.read_text(encoding="utf-8").strip()
def token(n: int = 24) -> str:
return secrets.token_hex(n)
def bucket_name() -> str:
env = ROOT / ".env"
if env.exists():
for line in env.read_text(encoding="utf-8").splitlines():
if line.strip().startswith("S3_BUCKET="):
return line.split("=", 1)[1].strip()
return "messenger-attachments"
def redis_acl(admin_password: str, api_password: str) -> str:
"""ACL Redis 7. api: только ключи session:* и ratelimit:*, только нужные команды, без pub/sub."""
sha = lambda value: hashlib.sha256(value.encode("utf-8")).hexdigest() # noqa: E731
api_commands = " ".join("+" + c for c in (
"get", "set", "del", "incr", "incrby", "pexpire", "pttl", "ping", "multi", "exec", "discard", "hello", "auth"))
return (
"user default off resetkeys resetchannels -@all\n"
f"user admin on #{sha(admin_password)} ~* &* +@all\n"
f"user api on #{sha(api_password)} resetkeys ~session:* ~ratelimit:* resetchannels -@all {api_commands}\n"
)
def s3_config(bucket: str, keys: dict) -> str:
"""SeaweedFS identities. Действия с суффиксом :<bucket>/<prefix>* действуют только в этом prefix
(проверено: api не пишет в attachments/, worker не пишет в staging/ чужими ключами и т.д.).
Write включает PUT и DELETE; List — листинг bucket; Admin — создание bucket и пр. — только у s3-init."""
b = bucket
actions = {
"s3-init": ["Admin", "Read", "Write", "List", "Tagging"],
# API: принимает исходник в staging/ (PUT, откат DELETE), отдаёт готовые файлы (GET).
"api": [f"Write:{b}/staging/*", f"Read:{b}/attachments/*", f"Read:{b}/originals/*"],
# Worker: читает исходник (staging/ или lab4 originals/), пишет результат в attachments/ и может
# читать/листать СВОЙ выходной prefix (проверка результата; исходники он и так читает — новой
# конфиденциальной информации это не даёт), удаляет обработанный исходник. Пользователей, сессий,
# чужих prefix-листингов и администрирования bucket у него нет.
"worker": [f"Read:{b}/staging/*", f"Read:{b}/originals/*", f"Write:{b}/attachments/*",
f"Read:{b}/attachments/*", f"List:{b}/attachments/*",
f"Write:{b}/staging/*", f"Write:{b}/originals/*"],
# Janitor: сверка bucket с БД — листинг и удаление сирот; читать содержимое ему не нужно.
"janitor": [f"List:{b}", f"Write:{b}"],
}
identities = [{"name": name, "credentials": [{"accessKey": keys[name][0], "secretKey": keys[name][1]}],
"actions": actions[name]} for name in actions]
return json.dumps({"identities": identities}, indent=2)
def rabbit_definitions() -> str:
"""Топология и пользователи RabbitMQ. Пользователи БЕЗ пароля: вход только механизмом EXTERNAL по CN
клиентского сертификата (infra/rabbitmq.conf). Права (configure / write / read, regex по именам):
dispatcher — публикует только в exchange attachments; читает DLQ (ops.py dlq-replay); configure нет;
worker — читает только основную очередь; не публикует (повторы идут через outbox); configure нет.
"""
queue_args = {
"x-queue-type": "quorum",
"x-delivery-limit": 20,
"x-dead-letter-exchange": DLX,
"x-dead-letter-routing-key": DLQ_ROUTING_KEY,
"x-dead-letter-strategy": "at-least-once",
"x-overflow": "reject-publish",
"x-max-length": 100000,
}
definitions = {
# password_hash "" — у пользователя нет пароля, PLAIN/AMQPLAIN для него невозможны.
"users": [{"name": name, "password_hash": "", "hashing_algorithm": "rabbit_password_hashing_sha256",
"tags": []} for name in ("dispatcher", "worker")],
"vhosts": [{"name": BROKER_VHOST}],
"permissions": [
{"user": "dispatcher", "vhost": BROKER_VHOST, "configure": "^$",
"write": f"^{EXCHANGE}$", "read": "^" + DLQ.replace(".", r"\.") + "$"},
{"user": "worker", "vhost": BROKER_VHOST, "configure": "^$",
"write": "^$", "read": "^" + QUEUE.replace(".", r"\.") + "$"},
],
"exchanges": [
{"name": EXCHANGE, "vhost": BROKER_VHOST, "type": "direct", "durable": True, "auto_delete": False,
"internal": False, "arguments": {}},
{"name": DLX, "vhost": BROKER_VHOST, "type": "direct", "durable": True, "auto_delete": False,
"internal": False, "arguments": {}},
],
"queues": [
{"name": QUEUE, "vhost": BROKER_VHOST, "durable": True, "auto_delete": False, "arguments": queue_args},
{"name": DLQ, "vhost": BROKER_VHOST, "durable": True, "auto_delete": False,
"arguments": {"x-queue-type": "classic"}},
],
"bindings": [
{"source": EXCHANGE, "vhost": BROKER_VHOST, "destination": QUEUE, "destination_type": "queue",
"routing_key": ROUTING_KEY, "arguments": {}},
{"source": DLX, "vhost": BROKER_VHOST, "destination": DLQ, "destination_type": "queue",
"routing_key": DLQ_ROUTING_KEY, "arguments": {}},
],
}
return json.dumps(definitions, indent=2)
def main() -> None:
SECRETS.mkdir(exist_ok=True)
OPERATOR.mkdir(exist_ok=True)
for directory in (SECRETS, OPERATOR):
directory.chmod(0o700)
created = []
app_file = OPERATOR / "app-secrets.json"
loaded_marker = OPERATOR / "app-secrets.loaded"
if not (SECRETS / "postgres_password").exists():
owner = token()
write(SECRETS / "postgres_password", owner)
write(OPERATOR / "postgres_owner_password", owner, private=True)
created.append("postgres_password")
if not (SECRETS / "s3_config.json").exists():
if loaded_marker.exists():
raise SystemExit("secrets/s3_config.json is missing but app secrets were already loaded into OpenBao: "
"restore it or reset the stand (see REPORT.md, «Сброс»)")
app = {
"api": {"db_password": token(), "redis_password": token()},
"worker": {"db_password": token()},
"dispatcher": {"db_password": token()},
"janitor": {"db_password": token()},
"migrate": {"db_owner_password": read(SECRETS / "postgres_password")},
"s3-init": {},
}
s3_keys = {}
for name in ("s3-init", "api", "worker", "janitor"):
s3_keys[name] = (name.replace("-", "") + "-" + secrets.token_hex(8), token())
app["s3-init"].update(s3_admin_access_key_id=s3_keys["s3-init"][0],
s3_admin_secret_access_key=s3_keys["s3-init"][1])
for name in ("api", "worker", "janitor"):
app[name].update(s3_access_key_id=s3_keys[name][0], s3_secret_access_key=s3_keys[name][1])
redis_admin = token()
write(SECRETS / "s3_config.json", s3_config(bucket_name(), s3_keys))
write(SECRETS / "redis" / "users.acl", redis_acl(redis_admin, app["api"]["redis_password"]))
write(OPERATOR / "redis_admin_password", redis_admin, private=True)
write(app_file, json.dumps(app, indent=2), private=True)
created += ["s3_config.json", "redis/users.acl", "operator/app-secrets.json", "operator/redis_admin_password"]
if not (SECRETS / "rabbitmq_definitions.json").exists():
write(SECRETS / "rabbitmq_definitions.json", rabbit_definitions())
created.append("rabbitmq_definitions.json")
if not (SECRETS / "grafana_admin_password").exists():
write(SECRETS / "grafana_admin_password", secrets.token_urlsafe(18))
created.append("grafana_admin_password")
if (SECRETS / "redis").exists():
(SECRETS / "redis").chmod(0o755)
if created:
print("Created in secrets/: " + ", ".join(created) + " (values are not printed).")
else:
print("secrets/ is complete, nothing changed.")
if app_file.exists():
print("Next: start openbao, then python scripts/bao.py init && python scripts/bao.py unseal "
"&& python scripts/bao.py configure (loads operator/app-secrets.json into OpenBao and deletes it).")
if __name__ == "__main__":
main()