forked from mtusi2026/mtusi2026lab7
Перенесена реализация lab6; бизнес-API без изменений, транспорт — HTTPS. - Внешний HTTPS (public-ca) на 127.0.0.1:8443; HSTS, TLS >= 1.2. - Обязательное mTLS LB -> каждая API-реплика: API проверяет цепочку internal-ca и SAN клиента (allowlist: lb); health только на 127.0.0.1. - TLS с проверкой сервера ко всем зависимостям: PostgreSQL verify-full (pg_hba только hostssl), HTTPS S3, AMQPS, OTLP/HTTPS с client cert, mTLS Collector -> Prometheus/Loki/Tempo, Grafana -> datasources, scrape. - OpenBao 2.7.2 не в dev-mode: Raft на volume, init/unseal оператором, auth/cert с ролью и policy на сервис, TTL 15 мин + renew/re-login. - Отдельные роли PostgreSQL с грантами по таблицам; разные ключи S3 и пользователи брокера выдаются из OpenBao. - Argon2id (m=19 MiB, t=2, p=1, замер на стенде) и rehash при входе. - Случайный X-Instance-Id; hardening контейнеров (non-root, cap_drop ALL, no-new-privileges, read-only, лимиты); TCP_NODELAY на сокете API. - Модель угроз, trust matrix, отрицательные тесты TLS/mTLS, API, OpenBao, hardening; evidence, в т.ч. прогон из чистого clone.
108 lines
4.9 KiB
Python
108 lines
4.9 KiB
Python
"""Общее для фоновых процессов lab5 (relay, worker, ops): конфигурация, БД, брокер.
|
||
|
||
API (server.py) брокер не использует вовсе: он только пишет outbox в PostgreSQL.
|
||
Поэтому недоступность RabbitMQ не влияет на приём файлов — задания копятся в outbox.
|
||
"""
|
||
import logging
|
||
import os
|
||
import socket
|
||
import sys
|
||
import time
|
||
import uuid
|
||
|
||
import pika
|
||
from psycopg.conninfo import make_conninfo
|
||
|
||
import tlsutil
|
||
import vault
|
||
from instance import INSTANCE_ID
|
||
|
||
# Lab6: логирование (JSON stdout + OTLP) настраивает telemetry.setup() в main() каждого процесса.
|
||
logging.getLogger("pika").setLevel(logging.WARNING)
|
||
|
||
# Топология брокера (объявляется декларативно в secrets/rabbitmq_definitions.json,
|
||
# приложения её не создают — у их пользователей нет права configure).
|
||
EXCHANGE = "attachments"
|
||
ROUTING_KEY = "attachment.process.v1"
|
||
QUEUE = "attachments.process.v1"
|
||
DLQ = "attachments.dlq"
|
||
|
||
HOSTNAME = socket.gethostname()
|
||
# Идентификатор процесса для lease_owner: hostname контейнера + случайный boot id.
|
||
BOOT_ID = uuid.uuid4().hex[:8]
|
||
OWNER = "%s:%s" % (HOSTNAME, BOOT_ID)
|
||
|
||
|
||
def env_int(name, default):
|
||
return int(os.environ.get(name, str(default)))
|
||
|
||
|
||
def env_float(name, default):
|
||
return float(os.environ.get(name, str(default)))
|
||
|
||
|
||
def secret(name):
|
||
"""Lab7: из OpenBao (src/vault.py); NAME_FILE/NAME — только для инфраструктурных job/тестов."""
|
||
return vault.secret(name)
|
||
|
||
|
||
def database_conninfo():
|
||
options = "-c statement_timeout=%d" % env_int("DB_STATEMENT_TIMEOUT_MS", 5000)
|
||
url = vault.secret("DATABASE_URL", required=False)
|
||
if url:
|
||
return make_conninfo(url, connect_timeout=3, options=options, sslmode="verify-full",
|
||
sslrootcert=os.environ.get("DB_SSLROOTCERT", tlsutil.CA_FILE))
|
||
return make_conninfo(
|
||
host=os.environ.get("POSTGRES_HOST", "localhost"),
|
||
port=os.environ.get("POSTGRES_PORT", "5432"),
|
||
dbname=os.environ.get("POSTGRES_DB", "messenger"),
|
||
user=os.environ.get("POSTGRES_USER", "messenger"),
|
||
password=secret("POSTGRES_PASSWORD"),
|
||
connect_timeout=3,
|
||
sslmode=os.environ.get("DB_SSLMODE", "verify-full"),
|
||
sslrootcert=os.environ.get("DB_SSLROOTCERT", tlsutil.CA_FILE),
|
||
options=options,
|
||
)
|
||
|
||
|
||
def broker_parameters():
|
||
"""amqp URL из BROKER_URL_FILE: у relay, worker и ops — разные пользователи RabbitMQ."""
|
||
params = pika.URLParameters(secret("BROKER_URL"))
|
||
# Lab7: AMQPS (5671) — проверка CA и hostname брокера; клиентский сертификат сервиса
|
||
# предъявляется (RabbitMQ verify_peer). Plaintext 5672 у брокера выключен.
|
||
if params.port == 5671 or os.environ.get("BROKER_TLS", "1") == "1":
|
||
params.ssl_options = pika.SSLOptions(tlsutil.client_context(),
|
||
server_hostname=os.environ.get("BROKER_TLS_SERVER_NAME", params.host))
|
||
# heartbeat: брокер закроет соединение мёртвого/замороженного клиента и вернёт его unacked
|
||
# сообщения в очередь (в т.ч. выданные заранее по prefetch). 10 с: эксперимент
|
||
# lease_takeover показал, что при 20 с такое сообщение висело ~35 с. Worker обрабатывает
|
||
# задание в отдельном потоке и продолжает обслуживать heartbeat (process_data_events),
|
||
# поэтому долгая обработка соединение не рвёт.
|
||
params.heartbeat = env_int("BROKER_HEARTBEAT_SECONDS", 10)
|
||
params.blocked_connection_timeout = 30
|
||
params.socket_timeout = 5
|
||
params.connection_attempts = 1
|
||
params.client_properties = {"connection_name": "%s-%s" % (os.environ.get("SERVICE_NAME", "app"), HOSTNAME)}
|
||
return params
|
||
|
||
|
||
def connect_broker(log, stop=None):
|
||
"""Подключение с повторами и паузой до 5 с; stop — threading.Event для выхода."""
|
||
delay = 0.5
|
||
while True:
|
||
try:
|
||
return pika.BlockingConnection(broker_parameters())
|
||
except Exception as exc:
|
||
log.warning("broker unavailable (%s), retry in %.1fs", type(exc).__name__, delay,
|
||
extra={"event": "broker.unavailable", "error.type": type(exc).__name__})
|
||
if stop is not None and stop.wait(delay):
|
||
return None
|
||
if stop is None:
|
||
time.sleep(delay)
|
||
delay = min(5.0, delay * 2)
|
||
|
||
|
||
def touch(path):
|
||
with open(path, "w") as f:
|
||
f.write(str(time.time()))
|