Files
mtusi2026lab7/src/common.py
T
zemiles 9cc80d2529 ЛР 7 — БПИ2303 — Лазарев — на 3
Перенесена реализация lab6; бизнес-API без изменений, транспорт — HTTPS.

- Внешний HTTPS (public-ca) на 127.0.0.1:8443; HSTS, TLS >= 1.2.
- Обязательное mTLS LB -> каждая API-реплика: API проверяет цепочку
  internal-ca и SAN клиента (allowlist: lb); health только на 127.0.0.1.
- TLS с проверкой сервера ко всем зависимостям: PostgreSQL verify-full
  (pg_hba только hostssl), HTTPS S3, AMQPS, OTLP/HTTPS с client cert,
  mTLS Collector -> Prometheus/Loki/Tempo, Grafana -> datasources, scrape.
- OpenBao 2.7.2 не в dev-mode: Raft на volume, init/unseal оператором,
  auth/cert с ролью и policy на сервис, TTL 15 мин + renew/re-login.
- Отдельные роли PostgreSQL с грантами по таблицам; разные ключи S3 и
  пользователи брокера выдаются из OpenBao.
- Argon2id (m=19 MiB, t=2, p=1, замер на стенде) и rehash при входе.
- Случайный X-Instance-Id; hardening контейнеров (non-root, cap_drop ALL,
  no-new-privileges, read-only, лимиты); TCP_NODELAY на сокете API.
- Модель угроз, trust matrix, отрицательные тесты TLS/mTLS, API, OpenBao,
  hardening; evidence, в т.ч. прогон из чистого clone.
2026-11-18 23:59:35 +03:00

108 lines
4.9 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Общее для фоновых процессов lab5 (relay, worker, ops): конфигурация, БД, брокер.
API (server.py) брокер не использует вовсе: он только пишет outbox в PostgreSQL.
Поэтому недоступность RabbitMQ не влияет на приём файлов — задания копятся в outbox.
"""
import logging
import os
import socket
import sys
import time
import uuid
import pika
from psycopg.conninfo import make_conninfo
import tlsutil
import vault
from instance import INSTANCE_ID
# Lab6: логирование (JSON stdout + OTLP) настраивает telemetry.setup() в main() каждого процесса.
logging.getLogger("pika").setLevel(logging.WARNING)
# Топология брокера (объявляется декларативно в secrets/rabbitmq_definitions.json,
# приложения её не создают — у их пользователей нет права configure).
EXCHANGE = "attachments"
ROUTING_KEY = "attachment.process.v1"
QUEUE = "attachments.process.v1"
DLQ = "attachments.dlq"
HOSTNAME = socket.gethostname()
# Идентификатор процесса для lease_owner: hostname контейнера + случайный boot id.
BOOT_ID = uuid.uuid4().hex[:8]
OWNER = "%s:%s" % (HOSTNAME, BOOT_ID)
def env_int(name, default):
return int(os.environ.get(name, str(default)))
def env_float(name, default):
return float(os.environ.get(name, str(default)))
def secret(name):
"""Lab7: из OpenBao (src/vault.py); NAME_FILE/NAME — только для инфраструктурных job/тестов."""
return vault.secret(name)
def database_conninfo():
options = "-c statement_timeout=%d" % env_int("DB_STATEMENT_TIMEOUT_MS", 5000)
url = vault.secret("DATABASE_URL", required=False)
if url:
return make_conninfo(url, connect_timeout=3, options=options, sslmode="verify-full",
sslrootcert=os.environ.get("DB_SSLROOTCERT", tlsutil.CA_FILE))
return make_conninfo(
host=os.environ.get("POSTGRES_HOST", "localhost"),
port=os.environ.get("POSTGRES_PORT", "5432"),
dbname=os.environ.get("POSTGRES_DB", "messenger"),
user=os.environ.get("POSTGRES_USER", "messenger"),
password=secret("POSTGRES_PASSWORD"),
connect_timeout=3,
sslmode=os.environ.get("DB_SSLMODE", "verify-full"),
sslrootcert=os.environ.get("DB_SSLROOTCERT", tlsutil.CA_FILE),
options=options,
)
def broker_parameters():
"""amqp URL из BROKER_URL_FILE: у relay, worker и ops — разные пользователи RabbitMQ."""
params = pika.URLParameters(secret("BROKER_URL"))
# Lab7: AMQPS (5671) — проверка CA и hostname брокера; клиентский сертификат сервиса
# предъявляется (RabbitMQ verify_peer). Plaintext 5672 у брокера выключен.
if params.port == 5671 or os.environ.get("BROKER_TLS", "1") == "1":
params.ssl_options = pika.SSLOptions(tlsutil.client_context(),
server_hostname=os.environ.get("BROKER_TLS_SERVER_NAME", params.host))
# heartbeat: брокер закроет соединение мёртвого/замороженного клиента и вернёт его unacked
# сообщения в очередь (в т.ч. выданные заранее по prefetch). 10 с: эксперимент
# lease_takeover показал, что при 20 с такое сообщение висело ~35 с. Worker обрабатывает
# задание в отдельном потоке и продолжает обслуживать heartbeat (process_data_events),
# поэтому долгая обработка соединение не рвёт.
params.heartbeat = env_int("BROKER_HEARTBEAT_SECONDS", 10)
params.blocked_connection_timeout = 30
params.socket_timeout = 5
params.connection_attempts = 1
params.client_properties = {"connection_name": "%s-%s" % (os.environ.get("SERVICE_NAME", "app"), HOSTNAME)}
return params
def connect_broker(log, stop=None):
"""Подключение с повторами и паузой до 5 с; stop — threading.Event для выхода."""
delay = 0.5
while True:
try:
return pika.BlockingConnection(broker_parameters())
except Exception as exc:
log.warning("broker unavailable (%s), retry in %.1fs", type(exc).__name__, delay,
extra={"event": "broker.unavailable", "error.type": type(exc).__name__})
if stop is not None and stop.wait(delay):
return None
if stop is None:
time.sleep(delay)
delay = min(5.0, delay * 2)
def touch(path):
with open(path, "w") as f:
f.write(str(time.time()))