#!/usr/bin/env python3 """Идемпотентный bootstrap S3 (однократный compose-job `s3-init`). Работает под admin-credentials, которые есть ТОЛЬКО у этого job (API и janitor их не получают). Повторный запуск ничего не ломает: 1. ждёт доступности S3 (до 60 с); 2. создаёт bucket, если его нет (уже существующий — не ошибка); 3. проверяет приватность: анонимные GET объекта и ListBucket должны получить 403. Если bucket вдруг публичен — exit 1, и API не стартует (depends_on). Права пользователей (api: Read+Write, janitor: List+Write) задаются декларативно в secrets/s3_identities.json (генерирует scripts/init-secrets.sh). """ import io import json import logging import os import sys import time import urllib.error import urllib.request from minio.error import S3Error import objstore import tlsutil import telemetry telemetry.configure_logging() log = logging.getLogger("messenger.s3-init") def anonymous_status(url): try: # Lab7: анонимная проверка тоже по HTTPS с проверкой CA (без client cert и без ключей). with urllib.request.urlopen(url, timeout=3, context=tlsutil.client_context(with_identity=False)) as resp: return resp.status except urllib.error.HTTPError as exc: return exc.code def main(): bucket = os.environ.get("S3_BUCKET", "messenger-attachments") endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333").rstrip("/") # Первый PUT в новый bucket ждёт, пока SeaweedFS выделит volume-ы коллекции: таймаут больше. client = objstore.make_client(read_timeout=30) deadline = time.monotonic() + 60 while True: try: exists = client.bucket_exists(bucket) break except Exception as exc: if time.monotonic() > deadline: raise log.info("s3 not ready (%s), retrying", type(exc).__name__) time.sleep(1) created = False if not exists: try: client.make_bucket(bucket) created = True except S3Error as exc: if exc.code not in ("BucketAlreadyOwnedByYou", "BucketAlreadyExists"): raise # Контрольный объект: на нём проверяем, что анонимный GET не проходит. probe = "bootstrap/probe" for attempt in range(1, 6): try: client.put_object(bucket, probe, io.BytesIO(b"private"), 7, content_type="text/plain") break except Exception as exc: if attempt == 5: raise log.info("probe put failed (%s), retry %d", type(exc).__name__, attempt) time.sleep(2) checks = { "anonymous_get_object": anonymous_status("%s/%s/%s" % (endpoint, bucket, probe)), "anonymous_list_bucket": anonymous_status("%s/%s?list-type=2" % (endpoint, bucket)), } client.remove_object(bucket, probe) private = all(code in (401, 403) for code in checks.values()) print(json.dumps({"bucket": bucket, "created": created, "already_existed": exists, "anonymous_http_status": checks, "private": private}), flush=True) return 0 if private else 1 if __name__ == "__main__": sys.exit(main())