forked from mtusi2026/mtusi2026lab7
207 lines
12 KiB
Python
207 lines
12 KiB
Python
"""Секреты учебного стенда lab7 (только stdlib). Запускает оператор ПОСЛЕ scripts/pki.py init.
|
||
|
||
Создаёт недостающее, существующее не трогает (иначе разошлось бы с данными в volumes):
|
||
|
||
Для серверов (монтируются в СВОЙ контейнер, приложение их не видит):
|
||
secrets/postgres_password пароль владельца БД messenger (контейнер postgres при initdb)
|
||
secrets/redis/users.acl начальный ACL Redis: default off, admin (оператор), api (приложение);
|
||
в файле SHA-256 паролей, не сами пароли. Redis копирует его в свой volume
|
||
при первом старте, дальше ACL меняется командами (ротация).
|
||
secrets/s3_config.json ключи SeaweedFS: s3-init (admin), api, worker, janitor — права по prefix
|
||
secrets/rabbitmq_definitions.json vhost, очереди, пользователи worker/dispatcher БЕЗ пароля (вход только
|
||
по клиентскому сертификату, EXTERNAL) и их права
|
||
secrets/grafana_admin_password вход в Grafana (admin)
|
||
|
||
Только оператору (никуда не монтируются):
|
||
secrets/operator/app-secrets.json учётные данные приложений -> загружаются в OpenBao (scripts/bao.py configure),
|
||
после загрузки файл удаляется; дальше источник истины — OpenBao
|
||
secrets/operator/redis_admin_password, secrets/operator/postgres_owner_password — для ротации и диагностики
|
||
|
||
Значения не печатаются. Права файлов: каталоги 0700; файлы, которые читает контейнер под своим uid, — 0644
|
||
(на Windows/Docker Desktop права bind mount не применяются, защита — сам каталог пользователя).
|
||
"""
|
||
import hashlib
|
||
import json
|
||
import os
|
||
import secrets
|
||
from pathlib import Path
|
||
|
||
ROOT = Path(__file__).resolve().parents[1]
|
||
SECRETS = Path(os.environ.get("SECRETS_DIR", ROOT / "secrets"))
|
||
OPERATOR = SECRETS / "operator"
|
||
|
||
BROKER_VHOST = "messenger"
|
||
# Имена из pipeline.py (скрипт не импортирует код приложения, чтобы работать без зависимостей).
|
||
EXCHANGE, QUEUE, ROUTING_KEY = "attachments", "attachments.process.v1", "attachment.process.v1"
|
||
DLX, DLQ, DLQ_ROUTING_KEY = "attachments.dlx", "attachments.process.v1.dlq", "attachment.process.v1.dlq"
|
||
|
||
|
||
def write(path: Path, value: str, private: bool = False) -> None:
|
||
path.parent.mkdir(parents=True, exist_ok=True)
|
||
with open(path, "w", encoding="utf-8", newline="") as file:
|
||
file.write(value)
|
||
path.chmod(0o600 if private else 0o644)
|
||
|
||
|
||
def read(path: Path) -> str:
|
||
return path.read_text(encoding="utf-8").strip()
|
||
|
||
|
||
def token(n: int = 24) -> str:
|
||
return secrets.token_hex(n)
|
||
|
||
|
||
def bucket_name() -> str:
|
||
env = ROOT / ".env"
|
||
if env.exists():
|
||
for line in env.read_text(encoding="utf-8").splitlines():
|
||
if line.strip().startswith("S3_BUCKET="):
|
||
return line.split("=", 1)[1].strip()
|
||
return "messenger-attachments"
|
||
|
||
|
||
def redis_acl(admin_password: str, api_password: str) -> str:
|
||
"""ACL Redis 7. api: только ключи session:* и ratelimit:*, только нужные команды, без pub/sub."""
|
||
sha = lambda value: hashlib.sha256(value.encode("utf-8")).hexdigest() # noqa: E731
|
||
api_commands = " ".join("+" + c for c in (
|
||
"get", "set", "del", "incr", "incrby", "pexpire", "pttl", "ping", "multi", "exec", "discard", "hello", "auth"))
|
||
return (
|
||
"user default off resetkeys resetchannels -@all\n"
|
||
f"user admin on #{sha(admin_password)} ~* &* +@all\n"
|
||
f"user api on #{sha(api_password)} resetkeys ~session:* ~ratelimit:* resetchannels -@all {api_commands}\n"
|
||
)
|
||
|
||
|
||
def s3_config(bucket: str, keys: dict) -> str:
|
||
"""SeaweedFS identities. Действия с суффиксом :<bucket>/<prefix>* действуют только в этом prefix
|
||
(проверено: api не пишет в attachments/, worker не пишет в staging/ чужими ключами и т.д.).
|
||
Write включает PUT и DELETE; List — листинг bucket; Admin — создание bucket и пр. — только у s3-init."""
|
||
b = bucket
|
||
actions = {
|
||
"s3-init": ["Admin", "Read", "Write", "List", "Tagging"],
|
||
# API: принимает исходник в staging/ (PUT, откат DELETE), отдаёт готовые файлы (GET).
|
||
"api": [f"Write:{b}/staging/*", f"Read:{b}/attachments/*", f"Read:{b}/originals/*"],
|
||
# Worker: читает исходник (staging/ или lab4 originals/), пишет результат в attachments/ и может
|
||
# читать/листать СВОЙ выходной prefix (проверка результата; исходники он и так читает — новой
|
||
# конфиденциальной информации это не даёт), удаляет обработанный исходник. Пользователей, сессий,
|
||
# чужих prefix-листингов и администрирования bucket у него нет.
|
||
"worker": [f"Read:{b}/staging/*", f"Read:{b}/originals/*", f"Write:{b}/attachments/*",
|
||
f"Read:{b}/attachments/*", f"List:{b}/attachments/*",
|
||
f"Write:{b}/staging/*", f"Write:{b}/originals/*"],
|
||
# Janitor: сверка bucket с БД — листинг и удаление сирот; читать содержимое ему не нужно.
|
||
"janitor": [f"List:{b}", f"Write:{b}"],
|
||
}
|
||
identities = [{"name": name, "credentials": [{"accessKey": keys[name][0], "secretKey": keys[name][1]}],
|
||
"actions": actions[name]} for name in actions]
|
||
return json.dumps({"identities": identities}, indent=2)
|
||
|
||
|
||
def rabbit_definitions() -> str:
|
||
"""Топология и пользователи RabbitMQ. Пользователи БЕЗ пароля: вход только механизмом EXTERNAL по CN
|
||
клиентского сертификата (infra/rabbitmq.conf). Права (configure / write / read, regex по именам):
|
||
dispatcher — публикует только в exchange attachments; читает DLQ (ops.py dlq-replay); configure нет;
|
||
worker — читает только основную очередь; не публикует (повторы идут через outbox); configure нет.
|
||
"""
|
||
queue_args = {
|
||
"x-queue-type": "quorum",
|
||
"x-delivery-limit": 20,
|
||
"x-dead-letter-exchange": DLX,
|
||
"x-dead-letter-routing-key": DLQ_ROUTING_KEY,
|
||
"x-dead-letter-strategy": "at-least-once",
|
||
"x-overflow": "reject-publish",
|
||
"x-max-length": 100000,
|
||
}
|
||
definitions = {
|
||
# password_hash "" — у пользователя нет пароля, PLAIN/AMQPLAIN для него невозможны.
|
||
"users": [{"name": name, "password_hash": "", "hashing_algorithm": "rabbit_password_hashing_sha256",
|
||
"tags": []} for name in ("dispatcher", "worker")],
|
||
"vhosts": [{"name": BROKER_VHOST}],
|
||
"permissions": [
|
||
{"user": "dispatcher", "vhost": BROKER_VHOST, "configure": "^$",
|
||
"write": f"^{EXCHANGE}$", "read": "^" + DLQ.replace(".", r"\.") + "$"},
|
||
{"user": "worker", "vhost": BROKER_VHOST, "configure": "^$",
|
||
"write": "^$", "read": "^" + QUEUE.replace(".", r"\.") + "$"},
|
||
],
|
||
"exchanges": [
|
||
{"name": EXCHANGE, "vhost": BROKER_VHOST, "type": "direct", "durable": True, "auto_delete": False,
|
||
"internal": False, "arguments": {}},
|
||
{"name": DLX, "vhost": BROKER_VHOST, "type": "direct", "durable": True, "auto_delete": False,
|
||
"internal": False, "arguments": {}},
|
||
],
|
||
"queues": [
|
||
{"name": QUEUE, "vhost": BROKER_VHOST, "durable": True, "auto_delete": False, "arguments": queue_args},
|
||
{"name": DLQ, "vhost": BROKER_VHOST, "durable": True, "auto_delete": False,
|
||
"arguments": {"x-queue-type": "classic"}},
|
||
],
|
||
"bindings": [
|
||
{"source": EXCHANGE, "vhost": BROKER_VHOST, "destination": QUEUE, "destination_type": "queue",
|
||
"routing_key": ROUTING_KEY, "arguments": {}},
|
||
{"source": DLX, "vhost": BROKER_VHOST, "destination": DLQ, "destination_type": "queue",
|
||
"routing_key": DLQ_ROUTING_KEY, "arguments": {}},
|
||
],
|
||
}
|
||
return json.dumps(definitions, indent=2)
|
||
|
||
|
||
def main() -> None:
|
||
SECRETS.mkdir(exist_ok=True)
|
||
OPERATOR.mkdir(exist_ok=True)
|
||
for directory in (SECRETS, OPERATOR):
|
||
directory.chmod(0o700)
|
||
created = []
|
||
app_file = OPERATOR / "app-secrets.json"
|
||
loaded_marker = OPERATOR / "app-secrets.loaded"
|
||
|
||
if not (SECRETS / "postgres_password").exists():
|
||
owner = token()
|
||
write(SECRETS / "postgres_password", owner)
|
||
write(OPERATOR / "postgres_owner_password", owner, private=True)
|
||
created.append("postgres_password")
|
||
|
||
if not (SECRETS / "s3_config.json").exists():
|
||
if loaded_marker.exists():
|
||
raise SystemExit("secrets/s3_config.json is missing but app secrets were already loaded into OpenBao: "
|
||
"restore it or reset the stand (see REPORT.md, «Сброс»)")
|
||
app = {
|
||
"api": {"db_password": token(), "redis_password": token()},
|
||
"worker": {"db_password": token()},
|
||
"dispatcher": {"db_password": token()},
|
||
"janitor": {"db_password": token()},
|
||
"migrate": {"db_owner_password": read(SECRETS / "postgres_password")},
|
||
"s3-init": {},
|
||
}
|
||
s3_keys = {}
|
||
for name in ("s3-init", "api", "worker", "janitor"):
|
||
s3_keys[name] = (name.replace("-", "") + "-" + secrets.token_hex(8), token())
|
||
app["s3-init"].update(s3_admin_access_key_id=s3_keys["s3-init"][0],
|
||
s3_admin_secret_access_key=s3_keys["s3-init"][1])
|
||
for name in ("api", "worker", "janitor"):
|
||
app[name].update(s3_access_key_id=s3_keys[name][0], s3_secret_access_key=s3_keys[name][1])
|
||
redis_admin = token()
|
||
write(SECRETS / "s3_config.json", s3_config(bucket_name(), s3_keys))
|
||
write(SECRETS / "redis" / "users.acl", redis_acl(redis_admin, app["api"]["redis_password"]))
|
||
write(OPERATOR / "redis_admin_password", redis_admin, private=True)
|
||
write(app_file, json.dumps(app, indent=2), private=True)
|
||
created += ["s3_config.json", "redis/users.acl", "operator/app-secrets.json", "operator/redis_admin_password"]
|
||
|
||
if not (SECRETS / "rabbitmq_definitions.json").exists():
|
||
write(SECRETS / "rabbitmq_definitions.json", rabbit_definitions())
|
||
created.append("rabbitmq_definitions.json")
|
||
if not (SECRETS / "grafana_admin_password").exists():
|
||
write(SECRETS / "grafana_admin_password", secrets.token_urlsafe(18))
|
||
created.append("grafana_admin_password")
|
||
if (SECRETS / "redis").exists():
|
||
(SECRETS / "redis").chmod(0o755)
|
||
|
||
if created:
|
||
print("Created in secrets/: " + ", ".join(created) + " (values are not printed).")
|
||
else:
|
||
print("secrets/ is complete, nothing changed.")
|
||
if app_file.exists():
|
||
print("Next: start openbao, then python scripts/bao.py init && python scripts/bao.py unseal "
|
||
"&& python scripts/bao.py configure (loads operator/app-secrets.json into OpenBao and deletes it).")
|
||
|
||
|
||
if __name__ == "__main__":
|
||
main()
|