Перенесена реализация lab5 (API x2 за HAProxy, PostgreSQL, SeaweedFS S3, RabbitMQ, relay outbox, worker x2, janitor) без изменения бизнес-API. Наблюдаемость: - OpenTelemetry SDK в API, relay, worker, janitor: traces, metrics, logs по OTLP/HTTP; структурные JSON-логи с trace_id/span_id - OTel Collector (memory_limiter, batch, ограниченные очереди и retry), Prometheus (метрики, alert rules), Loki (логи), Tempo (трассы), Grafana с provisioning datasources и dashboard - W3C trace context API -> outbox -> RabbitMQ -> worker (parent-child, включая retry); метрики очереди, пула БД, загрузки worker, CPU/RAM - SLI/SLO, 10 alert rules с unit-тестами promtool и runbooks - инциденты: остановка worker, блокировка БД, отказ telemetry backend; по наблюдениям исправлен простой worker в цикле AMQP (разбор x2.4)
86 lines
3.3 KiB
Python
86 lines
3.3 KiB
Python
#!/usr/bin/env python3
|
|
"""Идемпотентный bootstrap S3 (однократный compose-job `s3-init`).
|
|
|
|
Работает под admin-credentials, которые есть ТОЛЬКО у этого job (API и janitor их не
|
|
получают). Повторный запуск ничего не ломает:
|
|
1. ждёт доступности S3 (до 60 с);
|
|
2. создаёт bucket, если его нет (уже существующий — не ошибка);
|
|
3. проверяет приватность: анонимные GET объекта и ListBucket должны получить 403.
|
|
Если bucket вдруг публичен — exit 1, и API не стартует (depends_on).
|
|
Права пользователей (api: Read+Write, janitor: List+Write) задаются декларативно в
|
|
secrets/s3_identities.json (генерирует scripts/init-secrets.sh).
|
|
"""
|
|
import io
|
|
import json
|
|
import logging
|
|
import os
|
|
import sys
|
|
import time
|
|
import urllib.error
|
|
import urllib.request
|
|
|
|
from minio.error import S3Error
|
|
|
|
import objstore
|
|
import telemetry
|
|
|
|
telemetry.configure_logging()
|
|
log = logging.getLogger("messenger.s3-init")
|
|
|
|
|
|
def anonymous_status(url):
|
|
try:
|
|
with urllib.request.urlopen(url, timeout=3) as resp:
|
|
return resp.status
|
|
except urllib.error.HTTPError as exc:
|
|
return exc.code
|
|
|
|
|
|
def main():
|
|
bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
|
|
endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333").rstrip("/")
|
|
# Первый PUT в новый bucket ждёт, пока SeaweedFS выделит volume-ы коллекции: таймаут больше.
|
|
client = objstore.make_client(read_timeout=30)
|
|
deadline = time.monotonic() + 60
|
|
while True:
|
|
try:
|
|
exists = client.bucket_exists(bucket)
|
|
break
|
|
except Exception as exc:
|
|
if time.monotonic() > deadline:
|
|
raise
|
|
log.info("s3 not ready (%s), retrying", type(exc).__name__)
|
|
time.sleep(1)
|
|
created = False
|
|
if not exists:
|
|
try:
|
|
client.make_bucket(bucket)
|
|
created = True
|
|
except S3Error as exc:
|
|
if exc.code not in ("BucketAlreadyOwnedByYou", "BucketAlreadyExists"):
|
|
raise
|
|
# Контрольный объект: на нём проверяем, что анонимный GET не проходит.
|
|
probe = "bootstrap/probe"
|
|
for attempt in range(1, 6):
|
|
try:
|
|
client.put_object(bucket, probe, io.BytesIO(b"private"), 7, content_type="text/plain")
|
|
break
|
|
except Exception as exc:
|
|
if attempt == 5:
|
|
raise
|
|
log.info("probe put failed (%s), retry %d", type(exc).__name__, attempt)
|
|
time.sleep(2)
|
|
checks = {
|
|
"anonymous_get_object": anonymous_status("%s/%s/%s" % (endpoint, bucket, probe)),
|
|
"anonymous_list_bucket": anonymous_status("%s/%s?list-type=2" % (endpoint, bucket)),
|
|
}
|
|
client.remove_object(bucket, probe)
|
|
private = all(code in (401, 403) for code in checks.values())
|
|
print(json.dumps({"bucket": bucket, "created": created, "already_existed": exists,
|
|
"anonymous_http_status": checks, "private": private}), flush=True)
|
|
return 0 if private else 1
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|