forked from mtusi2026/mtusi2026lab5
130 lines
7.9 KiB
Python
130 lines
7.9 KiB
Python
"""
|
||
Конфигурация только из переменных окружения (ничего не зашито в код и образ).
|
||
"""
|
||
from __future__ import annotations
|
||
import os
|
||
import socket
|
||
from dataclasses import dataclass
|
||
|
||
|
||
def _int(name: str, default: int) -> int:
|
||
return int(os.getenv(name, str(default)))
|
||
|
||
|
||
def _float(name: str, default: float) -> float:
|
||
return float(os.getenv(name, str(default)))
|
||
|
||
|
||
def _secret(name: str, default: str = "") -> str:
|
||
"""Значение из NAME_FILE (Docker secret, файл) или из переменной NAME.
|
||
Файл приоритетнее: так credentials не видны в `docker inspect`."""
|
||
path = os.getenv(name + "_FILE")
|
||
if path:
|
||
with open(path, encoding="utf-8") as f:
|
||
return f.read().strip()
|
||
return os.getenv(name, default)
|
||
|
||
|
||
@dataclass(frozen=True)
|
||
class Settings:
|
||
# HTTP
|
||
host: str = os.getenv("APP_HOST", "0.0.0.0")
|
||
port: int = _int("APP_PORT", 8080)
|
||
shutdown_timeout: int = _int("SHUTDOWN_TIMEOUT", 10)
|
||
log_level: str = os.getenv("LOG_LEVEL", "info")
|
||
# Имя реплики для X-Instance-Id: INSTANCE_ID или hostname контейнера
|
||
# (в Docker это короткий ID контейнера — по нему stop-one.sh находит реплику).
|
||
instance_id: str = os.getenv("INSTANCE_ID") or socket.gethostname()
|
||
|
||
# PostgreSQL — источник истины
|
||
database_url: str = _secret(
|
||
"DATABASE_URL", "postgresql://messenger:devpass@127.0.0.1:5432/messenger")
|
||
db_pool_min: int = _int("DB_POOL_MIN", 1)
|
||
db_pool_max: int = _int("DB_POOL_MAX", 10) # ограниченный пул
|
||
db_pool_timeout: float = _float("DB_POOL_TIMEOUT", 3.0) # ждать свободное соединение
|
||
db_connect_timeout: int = _int("DB_CONNECT_TIMEOUT", 3)
|
||
db_statement_timeout_ms: int = _int("DB_STATEMENT_TIMEOUT_MS", 5000)
|
||
migrate_on_start: bool = os.getenv("MIGRATE_ON_START", "true").lower() == "true"
|
||
|
||
# Одновременных вычислений Argon2id на реплику (каждое ≈ 64 МиБ RAM).
|
||
password_hash_concurrency: int = _int("PASSWORD_HASH_CONCURRENCY", 2)
|
||
|
||
# Сессии
|
||
session_ttl_seconds: int = _int("SESSION_TTL_SECONDS", 3600)
|
||
|
||
# Идемпотентность POST сообщений: сколько хранить ключ (контракт: 24 часа)
|
||
idempotency_ttl_seconds: int = _int("IDEMPOTENCY_TTL_SECONDS", 86400)
|
||
|
||
# Redis/Valkey — кэш сессий (не источник истины). Пусто = кэш выключен.
|
||
# Имя из skeleton — CACHE_URL(_FILE); REDIS_URL оставлено как синоним.
|
||
redis_url: str = _secret("CACHE_URL") or _secret("REDIS_URL")
|
||
redis_timeout: float = _float("REDIS_TIMEOUT", 0.5)
|
||
session_cache_ttl_seconds: int = _int("SESSION_CACHE_TTL_SECONDS", 60)
|
||
|
||
# lab4: S3-совместимое хранилище (MinIO) — только байты вложений.
|
||
# API ходит отдельным пользователем с правами только на свой bucket
|
||
# (не root MinIO): S3_ACCESS_KEY_ID(_FILE) / S3_SECRET_ACCESS_KEY(_FILE).
|
||
s3_endpoint: str = os.getenv("S3_ENDPOINT", "http://s3:9000")
|
||
s3_region: str = os.getenv("S3_REGION", "us-east-1")
|
||
s3_bucket: str = os.getenv("S3_BUCKET", "messenger-attachments")
|
||
s3_access_key_id: str = _secret("S3_ACCESS_KEY_ID")
|
||
s3_secret_access_key: str = _secret("S3_SECRET_ACCESS_KEY")
|
||
s3_connect_timeout: float = _float("S3_CONNECT_TIMEOUT", 2.0)
|
||
s3_read_timeout: float = _float("S3_READ_TIMEOUT", 10.0)
|
||
s3_max_attempts: int = _int("S3_MAX_ATTEMPTS", 2)
|
||
# Сколько секунд после ошибки соединения с S3 сразу отвечать 503 (circuit breaker).
|
||
s3_breaker_seconds: float = _float("S3_BREAKER_SECONDS", 5.0)
|
||
|
||
# Лимиты загрузки (контракт: 10 MiB и 40 млн пикселей).
|
||
max_upload_bytes: int = _int("MAX_UPLOAD_BYTES", 10 * 1024 * 1024)
|
||
max_image_pixels: int = _int("MAX_IMAGE_PIXELS", 40_000_000)
|
||
# Сколько ждать тело запроса целиком (защита от «медленной» загрузки).
|
||
upload_body_timeout_seconds: float = _float("UPLOAD_BODY_TIMEOUT_SECONDS", 60.0)
|
||
# Сколько байт тела держим в RAM; остальное — во временном файле,
|
||
# который удаляется сразу после ответа (не хранилище, только буфер).
|
||
upload_spool_memory_bytes: int = _int("UPLOAD_SPOOL_MEMORY_BYTES", 256 * 1024)
|
||
# Одновременных загрузок на реплику и одновременных проверок изображения.
|
||
upload_max_concurrent: int = _int("UPLOAD_MAX_CONCURRENT", 16)
|
||
image_check_concurrency: int = _int("IMAGE_CHECK_CONCURRENCY", 2)
|
||
|
||
# Очистка «сирот» (объект в S3 без метаданных в БД).
|
||
# Журнал upload_intents старше grace period считается брошенным.
|
||
upload_grace_seconds: int = _int("UPLOAD_GRACE_SECONDS", 900)
|
||
janitor_interval_seconds: int = _int("JANITOR_INTERVAL_SECONDS", 60)
|
||
janitor_enabled: bool = os.getenv("JANITOR_ENABLED", "true").lower() == "true"
|
||
|
||
# lab5: брокер — отдельный Redis со Streams и AOF (appendfsync always) на volume.
|
||
# Не путать с CACHE_URL: кэш сессий без persistence, брокер — с persistence.
|
||
broker_url: str = _secret("BROKER_URL", "redis://127.0.0.1:6380/0")
|
||
broker_timeout: float = _float("BROKER_TIMEOUT", 2.0)
|
||
jobs_stream: str = os.getenv("JOBS_STREAM", "attachments:jobs")
|
||
jobs_group: str = os.getenv("JOBS_GROUP", "workers")
|
||
dlq_stream: str = os.getenv("DLQ_STREAM", "attachments:jobs:dlq")
|
||
pipeline_version: int = _int("PIPELINE_VERSION", 1)
|
||
|
||
# lab5: worker
|
||
worker_concurrency: int = _int("WORKER_CONCURRENCY", 2) # одновременных задач на процесс
|
||
job_max_attempts: int = _int("JOB_MAX_ATTEMPTS", 5) # управляемых попыток на job
|
||
job_timeout_seconds: float = _float("JOB_TIMEOUT_SECONDS", 60) # жёсткий лимит обработки
|
||
job_lease_seconds: float = _float("JOB_LEASE_SECONDS", 20) # аренда, продлевается heartbeat
|
||
job_backoff_base_seconds: float = _float("JOB_BACKOFF_BASE_SECONDS", 2)
|
||
job_backoff_max_seconds: float = _float("JOB_BACKOFF_MAX_SECONDS", 60)
|
||
# Через сколько чужое неподтверждённое сообщение считается брошенным (XAUTOCLAIM).
|
||
# Больше JOB_TIMEOUT: живой worker к этому времени точно закончил или убил обработку.
|
||
claim_idle_seconds: float = _float("CLAIM_IDLE_SECONDS", 90)
|
||
# Память дочернего процесса обработки (RLIMIT_AS), МиБ.
|
||
image_memory_mb: int = _int("IMAGE_MEMORY_MB", 768)
|
||
# Outbox relay: сколько ждать, прежде чем считать строку не опубликованной API.
|
||
outbox_relay_delay_seconds: float = _float("OUTBOX_RELAY_DELAY_SECONDS", 2)
|
||
maintenance_interval_seconds: float = _float("MAINTENANCE_INTERVAL_SECONDS", 1)
|
||
# Исходник в staging у failed хранится столько (для replay), потом удаляется.
|
||
staging_retention_seconds: int = _int("STAGING_RETENTION_SECONDS", 86400)
|
||
heartbeat_file: str = os.getenv("WORKER_HEARTBEAT_FILE", "/tmp/worker-heartbeat")
|
||
|
||
# Внедрение отказов ТОЛЬКО для тестового профиля fault (api-fault).
|
||
# В обычных репликах выключено: заголовок X-Fault-Inject игнорируется.
|
||
fault_injection: bool = os.getenv("FAULT_INJECTION", "false").lower() == "true"
|
||
|
||
|
||
settings = Settings()
|