forked from mtusi2026/mtusi2026lab6
113 lines
6.3 KiB
Python
113 lines
6.3 KiB
Python
"""Конфигурация из переменных окружения (см. .env.example)."""
|
|
import os
|
|
|
|
|
|
def _int(name, default):
|
|
value = os.environ.get(name)
|
|
return int(value) if value not in (None, "") else default
|
|
|
|
|
|
def _float(name, default):
|
|
value = os.environ.get(name)
|
|
return float(value) if value not in (None, "") else default
|
|
|
|
|
|
def _secret(name, default=""):
|
|
"""Значение из переменной NAME либо из файла NAME_FILE (Docker secrets); файл читается один раз."""
|
|
if os.environ.get(name):
|
|
return os.environ[name]
|
|
path = os.environ.get(name + "_FILE")
|
|
if path and os.path.exists(path):
|
|
with open(path, encoding="utf-8") as fh:
|
|
return fh.read().strip()
|
|
return default
|
|
|
|
|
|
APP_HOST = os.environ.get("APP_HOST", "0.0.0.0")
|
|
APP_PORT = _int("APP_PORT", 8080)
|
|
APP_ENV = os.environ.get("APP_ENV", "lab")
|
|
|
|
DATABASE_URL = _secret("DATABASE_URL")
|
|
DB_POOL_MIN = _int("DB_POOL_MIN", 2)
|
|
DB_POOL_MAX = _int("DB_POOL_MAX", 10)
|
|
DB_ACQUIRE_TIMEOUT = _float("DB_ACQUIRE_TIMEOUT", 2.0) # ожидание свободного соединения пула
|
|
DB_COMMAND_TIMEOUT = _float("DB_COMMAND_TIMEOUT", 5.0) # таймаут одного запроса
|
|
DB_CONNECT_TIMEOUT = _float("DB_CONNECT_TIMEOUT", 2.0)
|
|
|
|
VALKEY_URL = os.environ.get("VALKEY_URL", "") # пусто = кэш сессий выключен
|
|
VALKEY_TIMEOUT = _float("VALKEY_TIMEOUT", 0.2)
|
|
VALKEY_BREAKER_SECONDS = _float("VALKEY_BREAKER_SECONDS", 5.0)
|
|
|
|
SESSION_TTL_SECONDS = _int("SESSION_TTL_SECONDS", 3600)
|
|
SESSION_CACHE_TTL_SECONDS = _int("SESSION_CACHE_TTL_SECONDS", 60)
|
|
|
|
ARGON2_TIME_COST = _int("ARGON2_TIME_COST", 2)
|
|
ARGON2_MEMORY_KIB = _int("ARGON2_MEMORY_KIB", 19456) # 19 MiB, рекомендация OWASP
|
|
ARGON2_PARALLELISM = _int("ARGON2_PARALLELISM", 1)
|
|
HASH_CONCURRENCY = _int("HASH_CONCURRENCY", 4)
|
|
|
|
MAX_BODY_BYTES = _int("MAX_BODY_BYTES", 65536)
|
|
MAX_INFLIGHT = _int("MAX_INFLIGHT", 64)
|
|
LIMIT_CONCURRENCY = _int("LIMIT_CONCURRENCY", 1000)
|
|
RETRY_AFTER_SECONDS = _int("RETRY_AFTER_SECONDS", 1)
|
|
MIGRATIONS_DIR = os.environ.get("MIGRATIONS_DIR", os.path.join(os.path.dirname(__file__), "..", "..", "migrations"))
|
|
DRAIN_SECONDS = _float("DRAIN_SECONDS", 4.0) # после SIGTERM: readiness=503, сервер ещё принимает запросы
|
|
GRACEFUL_SHUTDOWN_SECONDS = _int("GRACEFUL_SHUTDOWN_SECONDS", 8)
|
|
KEEPALIVE_SECONDS = _int("KEEPALIVE_SECONDS", 5)
|
|
IDEMPOTENCY_TTL_SECONDS = _int("IDEMPOTENCY_TTL_SECONDS", 24 * 3600)
|
|
|
|
# --- S3 / вложения (lab4) ---
|
|
S3_ENDPOINT = os.environ.get("S3_ENDPOINT", "")
|
|
S3_BUCKET = os.environ.get("S3_BUCKET", "messenger-attachments")
|
|
S3_REGION = os.environ.get("S3_REGION", "us-east-1")
|
|
S3_ACCESS_KEY = _secret("S3_ACCESS_KEY")
|
|
S3_SECRET_KEY = _secret("S3_SECRET_KEY")
|
|
S3_CONNECT_TIMEOUT = _float("S3_CONNECT_TIMEOUT", 2.0)
|
|
S3_READ_TIMEOUT = _float("S3_READ_TIMEOUT", 15.0)
|
|
S3_POOL = _int("S3_POOL", 20)
|
|
MAX_UPLOAD_BYTES = _int("MAX_UPLOAD_BYTES", 10 * 1024 * 1024) # 10 MiB = 10 485 760
|
|
MAX_IMAGE_PIXELS = _int("MAX_IMAGE_PIXELS", 40_000_000)
|
|
UPLOAD_CONCURRENCY = _int("UPLOAD_CONCURRENCY", 4) # одновременных загрузок на реплику
|
|
UPLOAD_QUEUE = _int("UPLOAD_QUEUE", 16) # ожидающих загрузок; сверх — 429
|
|
IMAGE_THREADS = _int("IMAGE_THREADS", 2)
|
|
DOWNLOAD_CHUNK_BYTES = _int("DOWNLOAD_CHUNK_BYTES", 65536)
|
|
ORPHAN_GRACE_SECONDS = _int("ORPHAN_GRACE_SECONDS", 900) # объект без метаданных моложе этого возраста не трогаем
|
|
FAULT_INJECTION = {x for x in os.environ.get("FAULT_INJECTION", "").split(",") if x} # db_after_put, s3_delete_fails (эксперименты)
|
|
|
|
# --- lab5: брокер, outbox, worker ---
|
|
SERVICE_NAME = os.environ.get("SERVICE_NAME", "messenger-api")
|
|
BROKER_URL = _secret("BROKER_URL")
|
|
BROKER_TIMEOUT = _float("BROKER_TIMEOUT", 5.0)
|
|
RELAY_BATCH = _int("RELAY_BATCH", 50)
|
|
RELAY_INTERVAL = _float("RELAY_INTERVAL", 1.0)
|
|
WORKER_CONCURRENCY = _int("WORKER_CONCURRENCY", 2) # prefetch == число одновременных заданий == потоков обработки
|
|
LEASE_SECONDS = _int("LEASE_SECONDS", 60) # аренда задания; истекла -> sweeper возвращает в очередь
|
|
JOB_TIMEOUT = _float("JOB_TIMEOUT", 45.0) # лимит времени одной обработки (меньше lease)
|
|
MAX_ATTEMPTS = _int("MAX_ATTEMPTS", 5)
|
|
RETRY_BASE_DELAY = _float("RETRY_BASE_DELAY", 2.0)
|
|
RETRY_MAX_DELAY = _float("RETRY_MAX_DELAY", 60.0)
|
|
SWEEP_INTERVAL = _float("SWEEP_INTERVAL", 5.0)
|
|
STAGING_FAILED_RETENTION_SECONDS = _int("STAGING_FAILED_RETENTION_SECONDS", 7 * 24 * 3600)
|
|
MAX_QUEUED_JOBS = _int("MAX_QUEUED_JOBS", 200) # backpressure: при превышении upload -> 503 + Retry-After
|
|
BACKLOG_RETRY_AFTER_SECONDS = _int("BACKLOG_RETRY_AFTER_SECONDS", 5)
|
|
|
|
# --- lab6: наблюдаемость ---
|
|
OTEL_ENABLED = os.environ.get("OTEL_ENABLED", "1") not in ("0", "false", "")
|
|
OTEL_ENDPOINT = os.environ.get("OTEL_EXPORTER_OTLP_ENDPOINT", "http://otel-collector:4318")
|
|
OTEL_TRACE_RATIO = _float("OTEL_TRACES_SAMPLER_ARG", 1.0) # head-sampling: доля трасс (ParentBased)
|
|
OTEL_METRIC_INTERVAL_MS = _int("OTEL_METRIC_EXPORT_INTERVAL", 5000)
|
|
OTEL_QUEUE_SIZE = _int("OTEL_QUEUE_SIZE", 2048)
|
|
OTEL_BATCH_SIZE = _int("OTEL_BATCH_SIZE", 512) # спанов в одном экспорте (max_export_batch_size) # ограниченная очередь SDK; при переполнении данные отбрасываются
|
|
SERVICE_VERSION = os.environ.get("APP_REVISION", "dev")
|
|
INSTANCE_ID = (os.environ.get("HOSTNAME") or "local")[:12]
|
|
|
|
# Внедрение отказов в HTTP-путь для экспериментов наблюдаемости (по умолчанию пусто): "http500:0.02" — 2 % запросов дают 500;
|
|
# "slow:0.01:0.5" — 1 % запросов задерживаются на 0.5 с. Health-маршруты не затрагиваются.
|
|
def _fault_rate(prefix):
|
|
for item in FAULT_INJECTION:
|
|
if item.startswith(prefix + ":"):
|
|
return item.split(":")[1:]
|
|
return None
|
|
HTTP_FAULT_500 = _fault_rate("http500")
|
|
HTTP_FAULT_SLOW = _fault_rate("slow")
|