Вложения: приватный S3-bucket (RustFS 1.0.4) + метаданные в PostgreSQL, upload PNG/JPEG с лимитами до декодирования, авторизованный download, attachment_ids в сообщениях, идемпотентный bootstrap bucket, failover/persistence/S3-down тесты и REPORT.md. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
73 lines
3.0 KiB
Python
73 lines
3.0 KiB
Python
"""Bootstrap S3: создаёт приватный bucket для вложений. Запуск: python -m app.s3_bootstrap (сервис s3-init).
|
|
|
|
Идемпотентно: повторный запуск не трогает существующий bucket и данные в нём.
|
|
"Приватный" = у bucket нет политики анонимного доступа. Если политика есть (например, кто-то включил
|
|
public read руками), она удаляется. В конце выполняется проверка снаружи API: анонимный GET объекта
|
|
должен получить отказ (403), иначе bootstrap завершается ошибкой и API не стартует.
|
|
"""
|
|
import io
|
|
import os
|
|
import sys
|
|
import time
|
|
import urllib.error
|
|
import urllib.request
|
|
from pathlib import Path
|
|
from urllib.parse import urlparse
|
|
|
|
from minio import Minio
|
|
from minio.error import S3Error
|
|
|
|
|
|
def secret(name: str) -> str:
|
|
return Path(os.environ[name + '_FILE']).read_text(encoding='utf-8').strip()
|
|
|
|
|
|
def main() -> None:
|
|
endpoint = os.environ.get('S3_ENDPOINT', 'http://s3:9000')
|
|
bucket = os.environ.get('S3_BUCKET', 'messenger-attachments')
|
|
region = os.environ.get('S3_REGION', 'us-east-1')
|
|
url = urlparse(endpoint)
|
|
client = Minio(url.netloc, access_key=secret('S3_ACCESS_KEY_ID'), secret_key=secret('S3_SECRET_ACCESS_KEY'),
|
|
secure=url.scheme == 'https', region=region)
|
|
|
|
for attempt in range(30):
|
|
try:
|
|
exists = client.bucket_exists(bucket)
|
|
break
|
|
except Exception as exc: # S3 ещё стартует
|
|
if attempt == 29:
|
|
raise SystemExit(f's3 not reachable: {type(exc).__name__}')
|
|
time.sleep(1)
|
|
if exists:
|
|
print(f'bucket {bucket}: exists')
|
|
else:
|
|
client.make_bucket(bucket, location=region)
|
|
print(f'bucket {bucket}: created')
|
|
|
|
try:
|
|
client.get_bucket_policy(bucket)
|
|
client.delete_bucket_policy(bucket)
|
|
print(f'bucket {bucket}: anonymous policy removed')
|
|
except S3Error as exc:
|
|
if exc.code not in ('NoSuchBucketPolicy', 'NoSuchPolicy'):
|
|
raise
|
|
print(f'bucket {bucket}: no bucket policy (private)')
|
|
|
|
# Проверка приватности без credentials: служебный объект, анонимный GET, ожидаем 403.
|
|
probe = '_bootstrap/private-check'
|
|
client.put_object(bucket, probe, io.BytesIO(b'private'), 7, content_type='text/plain')
|
|
try:
|
|
urllib.request.urlopen(f'{endpoint}/{bucket}/{probe}', timeout=5)
|
|
print('ERROR: anonymous GET returned object, bucket is public', file=sys.stderr)
|
|
sys.exit(1)
|
|
except urllib.error.HTTPError as exc:
|
|
print(f'anonymous GET {bucket}/{probe}: HTTP {exc.code} (denied)')
|
|
if exc.code not in (401, 403):
|
|
sys.exit(1)
|
|
finally:
|
|
client.remove_object(bucket, probe)
|
|
|
|
|
|
if __name__ == '__main__':
|
|
main()
|