"""Секреты учебного стенда lab7 (только stdlib). Запускает оператор ПОСЛЕ scripts/pki.py init. Создаёт недостающее, существующее не трогает (иначе разошлось бы с данными в volumes): Для серверов (монтируются в СВОЙ контейнер, приложение их не видит): secrets/postgres_password пароль владельца БД messenger (контейнер postgres при initdb) secrets/redis/users.acl начальный ACL Redis: default off, admin (оператор), api (приложение); в файле SHA-256 паролей, не сами пароли. Redis копирует его в свой volume при первом старте, дальше ACL меняется командами (ротация). secrets/s3_config.json ключи SeaweedFS: s3-init (admin), api, worker, janitor — права по prefix secrets/rabbitmq_definitions.json vhost, очереди, пользователи worker/dispatcher БЕЗ пароля (вход только по клиентскому сертификату, EXTERNAL) и их права secrets/grafana_admin_password вход в Grafana (admin) Только оператору (никуда не монтируются): secrets/operator/app-secrets.json учётные данные приложений -> загружаются в OpenBao (scripts/bao.py configure), после загрузки файл удаляется; дальше источник истины — OpenBao secrets/operator/redis_admin_password, secrets/operator/postgres_owner_password — для ротации и диагностики Значения не печатаются. Права файлов: каталоги 0700; файлы, которые читает контейнер под своим uid, — 0644 (на Windows/Docker Desktop права bind mount не применяются, защита — сам каталог пользователя). """ import hashlib import json import os import secrets from pathlib import Path ROOT = Path(__file__).resolve().parents[1] SECRETS = Path(os.environ.get("SECRETS_DIR", ROOT / "secrets")) OPERATOR = SECRETS / "operator" BROKER_VHOST = "messenger" # Имена из pipeline.py (скрипт не импортирует код приложения, чтобы работать без зависимостей). EXCHANGE, QUEUE, ROUTING_KEY = "attachments", "attachments.process.v1", "attachment.process.v1" DLX, DLQ, DLQ_ROUTING_KEY = "attachments.dlx", "attachments.process.v1.dlq", "attachment.process.v1.dlq" def write(path: Path, value: str, private: bool = False) -> None: path.parent.mkdir(parents=True, exist_ok=True) with open(path, "w", encoding="utf-8", newline="") as file: file.write(value) path.chmod(0o600 if private else 0o644) def read(path: Path) -> str: return path.read_text(encoding="utf-8").strip() def token(n: int = 24) -> str: return secrets.token_hex(n) def bucket_name() -> str: env = ROOT / ".env" if env.exists(): for line in env.read_text(encoding="utf-8").splitlines(): if line.strip().startswith("S3_BUCKET="): return line.split("=", 1)[1].strip() return "messenger-attachments" def redis_acl(admin_password: str, api_password: str) -> str: """ACL Redis 7. api: только ключи session:* и ratelimit:*, только нужные команды, без pub/sub.""" sha = lambda value: hashlib.sha256(value.encode("utf-8")).hexdigest() # noqa: E731 api_commands = " ".join("+" + c for c in ( "get", "set", "del", "incr", "incrby", "pexpire", "pttl", "ping", "multi", "exec", "discard", "hello", "auth")) return ( "user default off resetkeys resetchannels -@all\n" f"user admin on #{sha(admin_password)} ~* &* +@all\n" f"user api on #{sha(api_password)} resetkeys ~session:* ~ratelimit:* resetchannels -@all {api_commands}\n" ) def s3_config(bucket: str, keys: dict) -> str: """SeaweedFS identities. Действия с суффиксом :/* действуют только в этом prefix (проверено: api не пишет в attachments/, worker не пишет в staging/ чужими ключами и т.д.). Write включает PUT и DELETE; List — листинг bucket; Admin — создание bucket и пр. — только у s3-init.""" b = bucket actions = { "s3-init": ["Admin", "Read", "Write", "List", "Tagging"], # API: принимает исходник в staging/ (PUT, откат DELETE), отдаёт готовые файлы (GET). "api": [f"Write:{b}/staging/*", f"Read:{b}/attachments/*", f"Read:{b}/originals/*"], # Worker: читает исходник (staging/ или lab4 originals/), пишет результат в attachments/ и может # читать/листать СВОЙ выходной prefix (проверка результата; исходники он и так читает — новой # конфиденциальной информации это не даёт), удаляет обработанный исходник. Пользователей, сессий, # чужих prefix-листингов и администрирования bucket у него нет. "worker": [f"Read:{b}/staging/*", f"Read:{b}/originals/*", f"Write:{b}/attachments/*", f"Read:{b}/attachments/*", f"List:{b}/attachments/*", f"Write:{b}/staging/*", f"Write:{b}/originals/*"], # Janitor: сверка bucket с БД — листинг и удаление сирот; читать содержимое ему не нужно. "janitor": [f"List:{b}", f"Write:{b}"], } identities = [{"name": name, "credentials": [{"accessKey": keys[name][0], "secretKey": keys[name][1]}], "actions": actions[name]} for name in actions] return json.dumps({"identities": identities}, indent=2) def rabbit_definitions() -> str: """Топология и пользователи RabbitMQ. Пользователи БЕЗ пароля: вход только механизмом EXTERNAL по CN клиентского сертификата (infra/rabbitmq.conf). Права (configure / write / read, regex по именам): dispatcher — публикует только в exchange attachments; читает DLQ (ops.py dlq-replay); configure нет; worker — читает только основную очередь; не публикует (повторы идут через outbox); configure нет. """ queue_args = { "x-queue-type": "quorum", "x-delivery-limit": 20, "x-dead-letter-exchange": DLX, "x-dead-letter-routing-key": DLQ_ROUTING_KEY, "x-dead-letter-strategy": "at-least-once", "x-overflow": "reject-publish", "x-max-length": 100000, } definitions = { # password_hash "" — у пользователя нет пароля, PLAIN/AMQPLAIN для него невозможны. "users": [{"name": name, "password_hash": "", "hashing_algorithm": "rabbit_password_hashing_sha256", "tags": []} for name in ("dispatcher", "worker")], "vhosts": [{"name": BROKER_VHOST}], "permissions": [ {"user": "dispatcher", "vhost": BROKER_VHOST, "configure": "^$", "write": f"^{EXCHANGE}$", "read": "^" + DLQ.replace(".", r"\.") + "$"}, {"user": "worker", "vhost": BROKER_VHOST, "configure": "^$", "write": "^$", "read": "^" + QUEUE.replace(".", r"\.") + "$"}, ], "exchanges": [ {"name": EXCHANGE, "vhost": BROKER_VHOST, "type": "direct", "durable": True, "auto_delete": False, "internal": False, "arguments": {}}, {"name": DLX, "vhost": BROKER_VHOST, "type": "direct", "durable": True, "auto_delete": False, "internal": False, "arguments": {}}, ], "queues": [ {"name": QUEUE, "vhost": BROKER_VHOST, "durable": True, "auto_delete": False, "arguments": queue_args}, {"name": DLQ, "vhost": BROKER_VHOST, "durable": True, "auto_delete": False, "arguments": {"x-queue-type": "classic"}}, ], "bindings": [ {"source": EXCHANGE, "vhost": BROKER_VHOST, "destination": QUEUE, "destination_type": "queue", "routing_key": ROUTING_KEY, "arguments": {}}, {"source": DLX, "vhost": BROKER_VHOST, "destination": DLQ, "destination_type": "queue", "routing_key": DLQ_ROUTING_KEY, "arguments": {}}, ], } return json.dumps(definitions, indent=2) def main() -> None: SECRETS.mkdir(exist_ok=True) OPERATOR.mkdir(exist_ok=True) for directory in (SECRETS, OPERATOR): directory.chmod(0o700) created = [] app_file = OPERATOR / "app-secrets.json" loaded_marker = OPERATOR / "app-secrets.loaded" if not (SECRETS / "postgres_password").exists(): owner = token() write(SECRETS / "postgres_password", owner) write(OPERATOR / "postgres_owner_password", owner, private=True) created.append("postgres_password") if not (SECRETS / "s3_config.json").exists(): if loaded_marker.exists(): raise SystemExit("secrets/s3_config.json is missing but app secrets were already loaded into OpenBao: " "restore it or reset the stand (see REPORT.md, «Сброс»)") app = { "api": {"db_password": token(), "redis_password": token()}, "worker": {"db_password": token()}, "dispatcher": {"db_password": token()}, "janitor": {"db_password": token()}, "migrate": {"db_owner_password": read(SECRETS / "postgres_password")}, "s3-init": {}, } s3_keys = {} for name in ("s3-init", "api", "worker", "janitor"): s3_keys[name] = (name.replace("-", "") + "-" + secrets.token_hex(8), token()) app["s3-init"].update(s3_admin_access_key_id=s3_keys["s3-init"][0], s3_admin_secret_access_key=s3_keys["s3-init"][1]) for name in ("api", "worker", "janitor"): app[name].update(s3_access_key_id=s3_keys[name][0], s3_secret_access_key=s3_keys[name][1]) redis_admin = token() write(SECRETS / "s3_config.json", s3_config(bucket_name(), s3_keys)) write(SECRETS / "redis" / "users.acl", redis_acl(redis_admin, app["api"]["redis_password"])) write(OPERATOR / "redis_admin_password", redis_admin, private=True) write(app_file, json.dumps(app, indent=2), private=True) created += ["s3_config.json", "redis/users.acl", "operator/app-secrets.json", "operator/redis_admin_password"] if not (SECRETS / "rabbitmq_definitions.json").exists(): write(SECRETS / "rabbitmq_definitions.json", rabbit_definitions()) created.append("rabbitmq_definitions.json") if not (SECRETS / "grafana_admin_password").exists(): write(SECRETS / "grafana_admin_password", secrets.token_urlsafe(18)) created.append("grafana_admin_password") if (SECRETS / "redis").exists(): (SECRETS / "redis").chmod(0o755) if created: print("Created in secrets/: " + ", ".join(created) + " (values are not printed).") else: print("secrets/ is complete, nothing changed.") if app_file.exists(): print("Next: start openbao, then python scripts/bao.py init && python scripts/bao.py unseal " "&& python scripts/bao.py configure (loads operator/app-secrets.json into OpenBao and deletes it).") if __name__ == "__main__": main()