Files
mtusi2026lab5/app/s3_bootstrap.py
T
RainakandClaude Opus 5.5 0a221b0675 ЛР5 БВТ2304 Запорожец на 5
RabbitMQ (quorum queue, publisher confirms, manual ack, DLX) + отдельный worker:
staging в S3 + вложение/job/outbox одной транзакцией -> 202 queued; relay outbox,
lease с heartbeat и fencing (worker_id, attempt), retry с backoff+jitter, failed-реестр,
безопасный replay с audit; thumbnail/crop/WebP в изолированном процессе с лимитами.
Тесты окон отказа (fault injection), трек 1 «Очередь под перегрузкой» с backpressure.
Перенесено исправление замечания lab3 PR #99 (U+0000 в тексте).

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-17 18:33:52 +03:00

73 lines
3.0 KiB
Python

"""Bootstrap S3: создаёт приватный bucket для вложений. Запуск: python -m app.s3_bootstrap (сервис s3-init).
Идемпотентно: повторный запуск не трогает существующий bucket и данные в нём.
"Приватный" = у bucket нет политики анонимного доступа. Если политика есть (например, кто-то включил
public read руками), она удаляется. В конце выполняется проверка снаружи API: анонимный GET объекта
должен получить отказ (403), иначе bootstrap завершается ошибкой и API не стартует.
"""
import io
import os
import sys
import time
import urllib.error
import urllib.request
from pathlib import Path
from urllib.parse import urlparse
from minio import Minio
from minio.error import S3Error
def secret(name: str) -> str:
return Path(os.environ[name + '_FILE']).read_text(encoding='utf-8').strip()
def main() -> None:
endpoint = os.environ.get('S3_ENDPOINT', 'http://s3:9000')
bucket = os.environ.get('S3_BUCKET', 'messenger-attachments')
region = os.environ.get('S3_REGION', 'us-east-1')
url = urlparse(endpoint)
client = Minio(url.netloc, access_key=secret('S3_ACCESS_KEY_ID'), secret_key=secret('S3_SECRET_ACCESS_KEY'),
secure=url.scheme == 'https', region=region)
for attempt in range(30):
try:
exists = client.bucket_exists(bucket)
break
except Exception as exc: # S3 ещё стартует
if attempt == 29:
raise SystemExit(f's3 not reachable: {type(exc).__name__}')
time.sleep(1)
if exists:
print(f'bucket {bucket}: exists')
else:
client.make_bucket(bucket, location=region)
print(f'bucket {bucket}: created')
try:
client.get_bucket_policy(bucket)
client.delete_bucket_policy(bucket)
print(f'bucket {bucket}: anonymous policy removed')
except S3Error as exc:
if exc.code not in ('NoSuchBucketPolicy', 'NoSuchPolicy'):
raise
print(f'bucket {bucket}: no bucket policy (private)')
# Проверка приватности без credentials: служебный объект, анонимный GET, ожидаем 403.
probe = '_bootstrap/private-check'
client.put_object(bucket, probe, io.BytesIO(b'private'), 7, content_type='text/plain')
try:
urllib.request.urlopen(f'{endpoint}/{bucket}/{probe}', timeout=5)
print('ERROR: anonymous GET returned object, bucket is public', file=sys.stderr)
sys.exit(1)
except urllib.error.HTTPError as exc:
print(f'anonymous GET {bucket}/{probe}: HTTP {exc.code} (denied)')
if exc.code not in (401, 403):
sys.exit(1)
finally:
client.remove_object(bucket, probe)
if __name__ == '__main__':
main()