Files
mtusi2026lab7/migrate.py

85 lines
3.8 KiB
Python

"""Одноразовый bootstrap схемы (сервис migrate, identity CN=migrate).
1. Вход в OpenBao сертификатом migrate, чтение пароля владельца БД и паролей ролей приложения.
2. Роли приложения (messenger_api, messenger_worker, messenger_dispatcher, messenger_janitor): создать или
выставить пароль из OpenBao (тот же запуск применяет ротацию паролей БД). Пароль передаётся в PostgreSQL
уже в виде SCRAM-SHA-256 verifier, посчитанного здесь: открытый пароль не попадает ни в текст SQL,
ни в журнал сервера при ошибке.
3. Миграции (006_roles.sql раздаёт роли минимальные права).
Значения секретов не печатаются.
"""
import base64
import hashlib
import hmac
import logging
import os
import secrets
import time
import psycopg
from psycopg import sql
import db
import dbconn
from secretstore import SecretsUnavailable, store
logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(name)s: %(message)s")
log = logging.getLogger("messenger.migrate")
# роль PostgreSQL -> (путь секрета в OpenBao, CONNECTION LIMIT)
ROLES = {
"messenger_api": ("api", 40), # 2-3 реплики x пул DB_POOL_MAX=10 + rolling update
"messenger_worker": ("worker", 10), # WORKER_CONCURRENCY потоков + аренда
"messenger_dispatcher": ("dispatcher", 5), # dispatcher + ops.py
"messenger_janitor": ("janitor", 3),
}
def scram_verifier(password: str, iterations: int = 4096) -> str:
"""SCRAM-SHA-256 verifier (RFC 5802/7677), формат PostgreSQL: SCRAM-SHA-256$<iter>:<salt>$<StoredKey>:<ServerKey>."""
salt = secrets.token_bytes(16)
salted = hashlib.pbkdf2_hmac("sha256", password.encode("utf-8"), salt, iterations)
client_key = hmac.new(salted, b"Client Key", hashlib.sha256).digest()
stored_key = hashlib.sha256(client_key).digest()
server_key = hmac.new(salted, b"Server Key", hashlib.sha256).digest()
b64 = lambda raw: base64.b64encode(raw).decode("ascii") # noqa: E731
return f"SCRAM-SHA-256${iterations}:{b64(salt)}${b64(stored_key)}:{b64(server_key)}"
def ensure_roles(conn) -> list[str]:
changed = []
for role, (path, limit) in ROLES.items():
verifier = scram_verifier(store.get("db_password", path))
exists = conn.execute("SELECT 1 FROM pg_roles WHERE rolname = %s", (role,)).fetchone()
verb = sql.SQL("ALTER ROLE") if exists else sql.SQL("CREATE ROLE")
conn.execute(sql.SQL("{} {} WITH LOGIN NOSUPERUSER NOCREATEDB NOCREATEROLE NOINHERIT NOREPLICATION "
"CONNECTION LIMIT {} PASSWORD {}").format(
verb, sql.Identifier(role), sql.Literal(limit), sql.Literal(verifier)))
changed.append(role)
return changed
def main() -> None:
store.start(paths=["migrate", *sorted({path for path, _ in ROLES.values()})])
deadline = time.monotonic() + 60
while True:
try:
with dbconn.connect(autocommit=True) as conn:
roles = ensure_roles(conn)
break
except psycopg.OperationalError as exc:
if time.monotonic() > deadline:
raise
log.warning("PostgreSQL is not ready yet (%s), retry in 1 s", type(exc).__name__)
time.sleep(1)
log.info("Roles synced with OpenBao: %s", ", ".join(roles))
db.wait_and_migrate()
if __name__ == "__main__":
try:
main()
except SecretsUnavailable as exc:
raise SystemExit(f"migrate: secrets unavailable: {exc}")
os._exit(0) # фоновый поток secretstore не должен держать одноразовый процесс