лр7: Docker-прогон, evidence, исправления

This commit is contained in:
kalibr456
2026-11-07 20:17:11 +03:00
parent 20afc2c790
commit cb38fd5231
249 changed files with 114500 additions and 82 deletions
+206
View File
@@ -0,0 +1,206 @@
"""Секреты учебного стенда lab7 (только stdlib). Запускает оператор ПОСЛЕ scripts/pki.py init.
Создаёт недостающее, существующее не трогает (иначе разошлось бы с данными в volumes):
Для серверов (монтируются в СВОЙ контейнер, приложение их не видит):
secrets/postgres_password пароль владельца БД messenger (контейнер postgres при initdb)
secrets/redis/users.acl начальный ACL Redis: default off, admin (оператор), api (приложение);
в файле SHA-256 паролей, не сами пароли. Redis копирует его в свой volume
при первом старте, дальше ACL меняется командами (ротация).
secrets/s3_config.json ключи SeaweedFS: s3-init (admin), api, worker, janitor — права по prefix
secrets/rabbitmq_definitions.json vhost, очереди, пользователи worker/dispatcher БЕЗ пароля (вход только
по клиентскому сертификату, EXTERNAL) и их права
secrets/grafana_admin_password вход в Grafana (admin)
Только оператору (никуда не монтируются):
secrets/operator/app-secrets.json учётные данные приложений -> загружаются в OpenBao (scripts/bao.py configure),
после загрузки файл удаляется; дальше источник истины — OpenBao
secrets/operator/redis_admin_password, secrets/operator/postgres_owner_password — для ротации и диагностики
Значения не печатаются. Права файлов: каталоги 0700; файлы, которые читает контейнер под своим uid, — 0644
(на Windows/Docker Desktop права bind mount не применяются, защита — сам каталог пользователя).
"""
import hashlib
import json
import os
import secrets
from pathlib import Path
ROOT = Path(__file__).resolve().parents[1]
SECRETS = Path(os.environ.get("SECRETS_DIR", ROOT / "secrets"))
OPERATOR = SECRETS / "operator"
BROKER_VHOST = "messenger"
# Имена из pipeline.py (скрипт не импортирует код приложения, чтобы работать без зависимостей).
EXCHANGE, QUEUE, ROUTING_KEY = "attachments", "attachments.process.v1", "attachment.process.v1"
DLX, DLQ, DLQ_ROUTING_KEY = "attachments.dlx", "attachments.process.v1.dlq", "attachment.process.v1.dlq"
def write(path: Path, value: str, private: bool = False) -> None:
path.parent.mkdir(parents=True, exist_ok=True)
with open(path, "w", encoding="utf-8", newline="") as file:
file.write(value)
path.chmod(0o600 if private else 0o644)
def read(path: Path) -> str:
return path.read_text(encoding="utf-8").strip()
def token(n: int = 24) -> str:
return secrets.token_hex(n)
def bucket_name() -> str:
env = ROOT / ".env"
if env.exists():
for line in env.read_text(encoding="utf-8").splitlines():
if line.strip().startswith("S3_BUCKET="):
return line.split("=", 1)[1].strip()
return "messenger-attachments"
def redis_acl(admin_password: str, api_password: str) -> str:
"""ACL Redis 7. api: только ключи session:* и ratelimit:*, только нужные команды, без pub/sub."""
sha = lambda value: hashlib.sha256(value.encode("utf-8")).hexdigest() # noqa: E731
api_commands = " ".join("+" + c for c in (
"get", "set", "del", "incr", "incrby", "pexpire", "pttl", "ping", "multi", "exec", "discard", "hello", "auth"))
return (
"user default off resetkeys resetchannels -@all\n"
f"user admin on #{sha(admin_password)} ~* &* +@all\n"
f"user api on #{sha(api_password)} resetkeys ~session:* ~ratelimit:* resetchannels -@all {api_commands}\n"
)
def s3_config(bucket: str, keys: dict) -> str:
"""SeaweedFS identities. Действия с суффиксом :<bucket>/<prefix>* действуют только в этом prefix
(проверено: api не пишет в attachments/, worker не пишет в staging/ чужими ключами и т.д.).
Write включает PUT и DELETE; List — листинг bucket; Admin — создание bucket и пр. — только у s3-init."""
b = bucket
actions = {
"s3-init": ["Admin", "Read", "Write", "List", "Tagging"],
# API: принимает исходник в staging/ (PUT, откат DELETE), отдаёт готовые файлы (GET).
"api": [f"Write:{b}/staging/*", f"Read:{b}/attachments/*", f"Read:{b}/originals/*"],
# Worker: читает исходник (staging/ или lab4 originals/), пишет результат в attachments/ и может
# читать/листать СВОЙ выходной prefix (проверка результата; исходники он и так читает — новой
# конфиденциальной информации это не даёт), удаляет обработанный исходник. Пользователей, сессий,
# чужих prefix-листингов и администрирования bucket у него нет.
"worker": [f"Read:{b}/staging/*", f"Read:{b}/originals/*", f"Write:{b}/attachments/*",
f"Read:{b}/attachments/*", f"List:{b}/attachments/*",
f"Write:{b}/staging/*", f"Write:{b}/originals/*"],
# Janitor: сверка bucket с БД — листинг и удаление сирот; читать содержимое ему не нужно.
"janitor": [f"List:{b}", f"Write:{b}"],
}
identities = [{"name": name, "credentials": [{"accessKey": keys[name][0], "secretKey": keys[name][1]}],
"actions": actions[name]} for name in actions]
return json.dumps({"identities": identities}, indent=2)
def rabbit_definitions() -> str:
"""Топология и пользователи RabbitMQ. Пользователи БЕЗ пароля: вход только механизмом EXTERNAL по CN
клиентского сертификата (infra/rabbitmq.conf). Права (configure / write / read, regex по именам):
dispatcher — публикует только в exchange attachments; читает DLQ (ops.py dlq-replay); configure нет;
worker — читает только основную очередь; не публикует (повторы идут через outbox); configure нет.
"""
queue_args = {
"x-queue-type": "quorum",
"x-delivery-limit": 20,
"x-dead-letter-exchange": DLX,
"x-dead-letter-routing-key": DLQ_ROUTING_KEY,
"x-dead-letter-strategy": "at-least-once",
"x-overflow": "reject-publish",
"x-max-length": 100000,
}
definitions = {
# password_hash "" — у пользователя нет пароля, PLAIN/AMQPLAIN для него невозможны.
"users": [{"name": name, "password_hash": "", "hashing_algorithm": "rabbit_password_hashing_sha256",
"tags": []} for name in ("dispatcher", "worker")],
"vhosts": [{"name": BROKER_VHOST}],
"permissions": [
{"user": "dispatcher", "vhost": BROKER_VHOST, "configure": "^$",
"write": f"^{EXCHANGE}$", "read": "^" + DLQ.replace(".", r"\.") + "$"},
{"user": "worker", "vhost": BROKER_VHOST, "configure": "^$",
"write": "^$", "read": "^" + QUEUE.replace(".", r"\.") + "$"},
],
"exchanges": [
{"name": EXCHANGE, "vhost": BROKER_VHOST, "type": "direct", "durable": True, "auto_delete": False,
"internal": False, "arguments": {}},
{"name": DLX, "vhost": BROKER_VHOST, "type": "direct", "durable": True, "auto_delete": False,
"internal": False, "arguments": {}},
],
"queues": [
{"name": QUEUE, "vhost": BROKER_VHOST, "durable": True, "auto_delete": False, "arguments": queue_args},
{"name": DLQ, "vhost": BROKER_VHOST, "durable": True, "auto_delete": False,
"arguments": {"x-queue-type": "classic"}},
],
"bindings": [
{"source": EXCHANGE, "vhost": BROKER_VHOST, "destination": QUEUE, "destination_type": "queue",
"routing_key": ROUTING_KEY, "arguments": {}},
{"source": DLX, "vhost": BROKER_VHOST, "destination": DLQ, "destination_type": "queue",
"routing_key": DLQ_ROUTING_KEY, "arguments": {}},
],
}
return json.dumps(definitions, indent=2)
def main() -> None:
SECRETS.mkdir(exist_ok=True)
OPERATOR.mkdir(exist_ok=True)
for directory in (SECRETS, OPERATOR):
directory.chmod(0o700)
created = []
app_file = OPERATOR / "app-secrets.json"
loaded_marker = OPERATOR / "app-secrets.loaded"
if not (SECRETS / "postgres_password").exists():
owner = token()
write(SECRETS / "postgres_password", owner)
write(OPERATOR / "postgres_owner_password", owner, private=True)
created.append("postgres_password")
if not (SECRETS / "s3_config.json").exists():
if loaded_marker.exists():
raise SystemExit("secrets/s3_config.json is missing but app secrets were already loaded into OpenBao: "
"restore it or reset the stand (see REPORT.md, «Сброс»)")
app = {
"api": {"db_password": token(), "redis_password": token()},
"worker": {"db_password": token()},
"dispatcher": {"db_password": token()},
"janitor": {"db_password": token()},
"migrate": {"db_owner_password": read(SECRETS / "postgres_password")},
"s3-init": {},
}
s3_keys = {}
for name in ("s3-init", "api", "worker", "janitor"):
s3_keys[name] = (name.replace("-", "") + "-" + secrets.token_hex(8), token())
app["s3-init"].update(s3_admin_access_key_id=s3_keys["s3-init"][0],
s3_admin_secret_access_key=s3_keys["s3-init"][1])
for name in ("api", "worker", "janitor"):
app[name].update(s3_access_key_id=s3_keys[name][0], s3_secret_access_key=s3_keys[name][1])
redis_admin = token()
write(SECRETS / "s3_config.json", s3_config(bucket_name(), s3_keys))
write(SECRETS / "redis" / "users.acl", redis_acl(redis_admin, app["api"]["redis_password"]))
write(OPERATOR / "redis_admin_password", redis_admin, private=True)
write(app_file, json.dumps(app, indent=2), private=True)
created += ["s3_config.json", "redis/users.acl", "operator/app-secrets.json", "operator/redis_admin_password"]
if not (SECRETS / "rabbitmq_definitions.json").exists():
write(SECRETS / "rabbitmq_definitions.json", rabbit_definitions())
created.append("rabbitmq_definitions.json")
if not (SECRETS / "grafana_admin_password").exists():
write(SECRETS / "grafana_admin_password", secrets.token_urlsafe(18))
created.append("grafana_admin_password")
if (SECRETS / "redis").exists():
(SECRETS / "redis").chmod(0o755)
if created:
print("Created in secrets/: " + ", ".join(created) + " (values are not printed).")
else:
print("secrets/ is complete, nothing changed.")
if app_file.exists():
print("Next: start openbao, then python scripts/bao.py init && python scripts/bao.py unseal "
"&& python scripts/bao.py configure (loads operator/app-secrets.json into OpenBao and deletes it).")
if __name__ == "__main__":
main()