Files
mtusi2026lab4/app/s3_bootstrap.py
T
RainakandClaude Opus 5.5 2dca5c114b ЛР4 БВТ2304 Запорожец на 3
Вложения: приватный S3-bucket (RustFS 1.0.4) + метаданные в PostgreSQL, upload PNG/JPEG
с лимитами до декодирования, авторизованный download, attachment_ids в сообщениях,
идемпотентный bootstrap bucket, failover/persistence/S3-down тесты и REPORT.md.

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-12 18:49:12 +03:00

73 lines
3.0 KiB
Python

"""Bootstrap S3: создаёт приватный bucket для вложений. Запуск: python -m app.s3_bootstrap (сервис s3-init).
Идемпотентно: повторный запуск не трогает существующий bucket и данные в нём.
"Приватный" = у bucket нет политики анонимного доступа. Если политика есть (например, кто-то включил
public read руками), она удаляется. В конце выполняется проверка снаружи API: анонимный GET объекта
должен получить отказ (403), иначе bootstrap завершается ошибкой и API не стартует.
"""
import io
import os
import sys
import time
import urllib.error
import urllib.request
from pathlib import Path
from urllib.parse import urlparse
from minio import Minio
from minio.error import S3Error
def secret(name: str) -> str:
return Path(os.environ[name + '_FILE']).read_text(encoding='utf-8').strip()
def main() -> None:
endpoint = os.environ.get('S3_ENDPOINT', 'http://s3:9000')
bucket = os.environ.get('S3_BUCKET', 'messenger-attachments')
region = os.environ.get('S3_REGION', 'us-east-1')
url = urlparse(endpoint)
client = Minio(url.netloc, access_key=secret('S3_ACCESS_KEY_ID'), secret_key=secret('S3_SECRET_ACCESS_KEY'),
secure=url.scheme == 'https', region=region)
for attempt in range(30):
try:
exists = client.bucket_exists(bucket)
break
except Exception as exc: # S3 ещё стартует
if attempt == 29:
raise SystemExit(f's3 not reachable: {type(exc).__name__}')
time.sleep(1)
if exists:
print(f'bucket {bucket}: exists')
else:
client.make_bucket(bucket, location=region)
print(f'bucket {bucket}: created')
try:
client.get_bucket_policy(bucket)
client.delete_bucket_policy(bucket)
print(f'bucket {bucket}: anonymous policy removed')
except S3Error as exc:
if exc.code not in ('NoSuchBucketPolicy', 'NoSuchPolicy'):
raise
print(f'bucket {bucket}: no bucket policy (private)')
# Проверка приватности без credentials: служебный объект, анонимный GET, ожидаем 403.
probe = '_bootstrap/private-check'
client.put_object(bucket, probe, io.BytesIO(b'private'), 7, content_type='text/plain')
try:
urllib.request.urlopen(f'{endpoint}/{bucket}/{probe}', timeout=5)
print('ERROR: anonymous GET returned object, bucket is public', file=sys.stderr)
sys.exit(1)
except urllib.error.HTTPError as exc:
print(f'anonymous GET {bucket}/{probe}: HTTP {exc.code} (denied)')
if exc.code not in (401, 403):
sys.exit(1)
finally:
client.remove_object(bucket, probe)
if __name__ == '__main__':
main()