forked from mtusi2026/mtusi2026lab7
Перенесена реализация lab6; бизнес-API без изменений, транспорт — HTTPS. - Внешний HTTPS (public-ca) на 127.0.0.1:8443; HSTS, TLS >= 1.2. - Обязательное mTLS LB -> каждая API-реплика: API проверяет цепочку internal-ca и SAN клиента (allowlist: lb); health только на 127.0.0.1. - TLS с проверкой сервера ко всем зависимостям: PostgreSQL verify-full (pg_hba только hostssl), HTTPS S3, AMQPS, OTLP/HTTPS с client cert, mTLS Collector -> Prometheus/Loki/Tempo, Grafana -> datasources, scrape. - OpenBao 2.7.2 не в dev-mode: Raft на volume, init/unseal оператором, auth/cert с ролью и policy на сервис, TTL 15 мин + renew/re-login. - Отдельные роли PostgreSQL с грантами по таблицам; разные ключи S3 и пользователи брокера выдаются из OpenBao. - Argon2id (m=19 MiB, t=2, p=1, замер на стенде) и rehash при входе. - Случайный X-Instance-Id; hardening контейнеров (non-root, cap_drop ALL, no-new-privileges, read-only, лимиты); TCP_NODELAY на сокете API. - Модель угроз, trust matrix, отрицательные тесты TLS/mTLS, API, OpenBao, hardening; evidence, в т.ч. прогон из чистого clone.
88 lines
3.5 KiB
Python
88 lines
3.5 KiB
Python
#!/usr/bin/env python3
|
|
"""Идемпотентный bootstrap S3 (однократный compose-job `s3-init`).
|
|
|
|
Работает под admin-credentials, которые есть ТОЛЬКО у этого job (API и janitor их не
|
|
получают). Повторный запуск ничего не ломает:
|
|
1. ждёт доступности S3 (до 60 с);
|
|
2. создаёт bucket, если его нет (уже существующий — не ошибка);
|
|
3. проверяет приватность: анонимные GET объекта и ListBucket должны получить 403.
|
|
Если bucket вдруг публичен — exit 1, и API не стартует (depends_on).
|
|
Права пользователей (api: Read+Write, janitor: List+Write) задаются декларативно в
|
|
secrets/s3_identities.json (генерирует scripts/init-secrets.sh).
|
|
"""
|
|
import io
|
|
import json
|
|
import logging
|
|
import os
|
|
import sys
|
|
import time
|
|
import urllib.error
|
|
import urllib.request
|
|
|
|
from minio.error import S3Error
|
|
|
|
import objstore
|
|
import tlsutil
|
|
import telemetry
|
|
|
|
telemetry.configure_logging()
|
|
log = logging.getLogger("messenger.s3-init")
|
|
|
|
|
|
def anonymous_status(url):
|
|
try:
|
|
# Lab7: анонимная проверка тоже по HTTPS с проверкой CA (без client cert и без ключей).
|
|
with urllib.request.urlopen(url, timeout=3, context=tlsutil.client_context(with_identity=False)) as resp:
|
|
return resp.status
|
|
except urllib.error.HTTPError as exc:
|
|
return exc.code
|
|
|
|
|
|
def main():
|
|
bucket = os.environ.get("S3_BUCKET", "messenger-attachments")
|
|
endpoint = os.environ.get("S3_ENDPOINT", "http://s3:8333").rstrip("/")
|
|
# Первый PUT в новый bucket ждёт, пока SeaweedFS выделит volume-ы коллекции: таймаут больше.
|
|
client = objstore.make_client(read_timeout=30)
|
|
deadline = time.monotonic() + 60
|
|
while True:
|
|
try:
|
|
exists = client.bucket_exists(bucket)
|
|
break
|
|
except Exception as exc:
|
|
if time.monotonic() > deadline:
|
|
raise
|
|
log.info("s3 not ready (%s), retrying", type(exc).__name__)
|
|
time.sleep(1)
|
|
created = False
|
|
if not exists:
|
|
try:
|
|
client.make_bucket(bucket)
|
|
created = True
|
|
except S3Error as exc:
|
|
if exc.code not in ("BucketAlreadyOwnedByYou", "BucketAlreadyExists"):
|
|
raise
|
|
# Контрольный объект: на нём проверяем, что анонимный GET не проходит.
|
|
probe = "bootstrap/probe"
|
|
for attempt in range(1, 6):
|
|
try:
|
|
client.put_object(bucket, probe, io.BytesIO(b"private"), 7, content_type="text/plain")
|
|
break
|
|
except Exception as exc:
|
|
if attempt == 5:
|
|
raise
|
|
log.info("probe put failed (%s), retry %d", type(exc).__name__, attempt)
|
|
time.sleep(2)
|
|
checks = {
|
|
"anonymous_get_object": anonymous_status("%s/%s/%s" % (endpoint, bucket, probe)),
|
|
"anonymous_list_bucket": anonymous_status("%s/%s?list-type=2" % (endpoint, bucket)),
|
|
}
|
|
client.remove_object(bucket, probe)
|
|
private = all(code in (401, 403) for code in checks.values())
|
|
print(json.dumps({"bucket": bucket, "created": created, "already_existed": exists,
|
|
"anonymous_http_status": checks, "private": private}), flush=True)
|
|
return 0 if private else 1
|
|
|
|
|
|
if __name__ == "__main__":
|
|
sys.exit(main())
|