Files
mtusi2026lab4/src/messenger/config.py
T
2026-10-22 17:27:32 +03:00

153 lines
11 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
"""Настройки из переменных окружения.
Конфигурация не зашита в код и в образ: один и тот же образ запускается
с разными настройками (обычный API, API с коротким TTL сессии, сервис миграций).
Секреты (адреса БД и Valkey с паролями) передаются не значением переменной,
а путём к файлу: *_FILE=/run/secrets/... Так пароль не виден в `docker inspect`.
"""
import os
import socket
from pathlib import Path
def _int(name: str, default: int, minimum: int = 1) -> int:
value = int(os.environ.get(name, str(default)))
if value < minimum:
raise ValueError(f"{name} должен быть не меньше {minimum}")
return value
def _secret(file_var: str, plain_var: str) -> str:
"""Значение секрета: из файла, указанного в *_FILE, иначе из обычной переменной.
strip() убирает перевод строки в конце файла, в том числе \\r из Windows-редакторов:
иначе он попал бы внутрь пароля и подключение к БД не прошло бы.
"""
path = os.environ.get(file_var, "").strip()
if path:
return Path(path).read_text(encoding="utf-8").strip()
return os.environ.get(plain_var, "").strip()
APP_HOST = os.environ.get("APP_HOST", "0.0.0.0") # 0.0.0.0 = слушать на всех интерфейсах контейнера
APP_PORT = _int("APP_PORT", 8080)
APP_ENV = os.environ.get("APP_ENV", "lab")
# Версия сборки (build arg APP_VERSION в Dockerfile). Пишется в лог при старте;
# по ней student-tests/rolling_update.py проверяет, что все реплики заменены новой версией.
APP_VERSION = os.environ.get("APP_VERSION", "dev")
# --- реплики (с lab3) ---
# X-Instance-Id: какая реплика обслужила запрос. В Docker hostname контейнера — это первые
# 12 символов его ID, поэтому по заголовку контейнер сразу находится в `docker ps`.
# Значение не меняется, пока жив процесс. В lab7 его нужно заменить случайным alias.
INSTANCE_ID = os.environ.get("INSTANCE_ID", "").strip() or socket.gethostname()
# Остановка по SIGTERM в два шага (см. __main__.py):
# 1) SHUTDOWN_DRAIN_SECONDS: /health/ready уже отвечает 503, но запросы ещё обслуживаются.
# HAProxy проверяет готовность раз в 1 с и после 2 неудач подряд (через ~1,5 с)
# перестаёт слать сюда запросы. 3 с — с запасом;
# 2) GRACEFUL_SHUTDOWN_SECONDS: uvicorn закрывает приём и доделывает начатые запросы.
# Самый долгий запрос: ожидание соединения из пула (3 с) + statement_timeout (5 с) = 8 с.
# Docker ждёт дольше суммы (stop_grace_period: 15s в compose.yaml), потом SIGKILL.
SHUTDOWN_DRAIN_SECONDS = _int("SHUTDOWN_DRAIN_SECONDS", 3, minimum=0)
GRACEFUL_SHUTDOWN_SECONDS = _int("GRACEFUL_SHUTDOWN_SECONDS", 8)
# --- сессии ---
SESSION_TTL_SECONDS = _int("SESSION_TTL_SECONDS", 3600)
# Источник истины для сессий. Поддерживается только postgres: Valkey в этой работе — кэш.
SESSION_STORE = os.environ.get("SESSION_STORE", "postgres").strip()
# Сколько секунд запись о сессии может жить в кэше (не дольше самой сессии).
# Это верхняя граница «устаревания»: см. sessions.py и REPORT.md.
SESSION_CACHE_TTL_SECONDS = _int("SESSION_CACHE_TTL_SECONDS", 30)
# --- PostgreSQL ---
DATABASE_URL = _secret("DATABASE_URL_FILE", "DATABASE_URL")
DB_POOL_MIN_SIZE = _int("DB_POOL_MIN_SIZE", 1)
DB_POOL_MAX_SIZE = _int("DB_POOL_MAX_SIZE", 10) # пул ограничен: не больше 10 соединений с БД
DB_POOL_TIMEOUT_SECONDS = _int("DB_POOL_TIMEOUT_SECONDS", 3) # ждать свободное соединение не дольше
DB_CONNECT_TIMEOUT_SECONDS = _int("DB_CONNECT_TIMEOUT_SECONDS", 3)
DB_STATEMENT_TIMEOUT_MS = _int("DB_STATEMENT_TIMEOUT_MS", 5000) # один SQL-запрос не дольше 5 с
DB_STARTUP_WAIT_SECONDS = _int("DB_STARTUP_WAIT_SECONDS", 60) # сколько ждать БД и миграции при старте
# --- Valkey (кэш сессий, общий для всех реплик) ---
CACHE_URL = _secret("CACHE_URL_FILE", "CACHE_URL") # пусто = работать без кэша
CACHE_TIMEOUT_MS = _int("CACHE_TIMEOUT_MS", 300) # кэш должен отвечать быстро, иначе обходим его
CACHE_POOL_MAX_SIZE = _int("CACHE_POOL_MAX_SIZE", 20)
# Как часто фоновый поток каждой реплики проверяет Valkey (PING). Так реплика замечает сбой
# Valkey, даже если в этот момент через неё не шли запросы (см. sessions.py).
CACHE_CHECK_INTERVAL_SECONDS = _int("CACHE_CHECK_INTERVAL_SECONDS", 1)
# IDEMPOTENCY_TTL_SECONDS из .env.example не используется: ключ идемпотентности хранится
# в строке сообщения столько же, сколько само сообщение (бессрочно, то есть дольше 24 ч
# из контракта). См. migrations/004_message_idempotency.sql и REPORT.md.
# --- S3 (с lab4): байты вложений в приватном bucket SeaweedFS, метаданные — в PostgreSQL ---
S3_ENDPOINT = os.environ.get("S3_ENDPOINT", "http://s3:9000").strip()
S3_REGION = os.environ.get("S3_REGION", "us-east-1").strip()
S3_BUCKET = os.environ.get("S3_BUCKET", "messenger-attachments").strip()
# Отдельный пользователь S3 только для API: права лишь на объекты своего bucket
# (secrets/s3_config.json). Ключи администратора S3 сюда не передаются.
S3_ACCESS_KEY_ID = _secret("S3_ACCESS_KEY_ID_FILE", "S3_ACCESS_KEY_ID")
S3_SECRET_ACCESS_KEY = _secret("S3_SECRET_ACCESS_KEY_FILE", "S3_SECRET_ACCESS_KEY")
# Таймауты S3: недоступный S3 даёт быстрый 503, а не зависший запрос.
# Ответ на запрос клиента всё равно не дольше S3_OPERATION_TIMEOUT_SECONDS (6 с), см. ниже.
S3_CONNECT_TIMEOUT_SECONDS = _int("S3_CONNECT_TIMEOUT_SECONDS", 2)
S3_READ_TIMEOUT_SECONDS = _int("S3_READ_TIMEOUT_SECONDS", 5)
S3_MAX_ATTEMPTS = _int("S3_MAX_ATTEMPTS", 2) # 1 попытка + 1 повтор при сетевой ошибке
# Общий предел на одну операцию S3 (включая поиск имени в DNS, который таймауты выше не покрывают).
S3_OPERATION_TIMEOUT_SECONDS = _int("S3_OPERATION_TIMEOUT_SECONDS", 6)
# --- загрузка картинок ---
MAX_UPLOAD_BYTES = _int("MAX_UPLOAD_BYTES", 10 * 1024 * 1024) # 10 MiB = 10 485 760 байт (контракт)
MAX_IMAGE_PIXELS = _int("MAX_IMAGE_PIXELS", 40_000_000) # 40 млн пикселей (контракт)
# Тело читается кусками; в памяти держится не больше UPLOAD_SPOOL_BYTES на загрузку,
# остальное — во временном файле, который удаляется сразу после запроса (это буфер, а не хранилище).
UPLOAD_SPOOL_BYTES = _int("UPLOAD_SPOOL_BYTES", 1024 * 1024)
# Если клиент передаёт файл дольше этого, загрузка прерывается (400): медленный клиент
# не держит память и соединение бесконечно.
UPLOAD_TIMEOUT_SECONDS = _int("UPLOAD_TIMEOUT_SECONDS", 60)
# Сколько картинок реплика декодирует одновременно. Декодирование PNG 40 Мп занимает до 160 МиБ,
# поэтому по одной: пик памяти не растёт с числом одновременных загрузок.
IMAGE_DECODE_CONCURRENCY = _int("IMAGE_DECODE_CONCURRENCY", 1)
IMAGE_DECODE_WAIT_SECONDS = _int("IMAGE_DECODE_WAIT_SECONDS", 10) # дольше ждать очередь — 503
# --- уборщик незавершённых загрузок (cleanup.py) ---
# Grace period: pending-строку и объект без строки трогаем, только если им больше 15 минут.
# Это намного дольше самой долгой загрузки (UPLOAD_TIMEOUT_SECONDS + S3), поэтому идущая
# прямо сейчас загрузка никогда не будет удалена.
ATTACHMENT_GRACE_SECONDS = _int("ATTACHMENT_GRACE_SECONDS", 900)
CLEANUP_INTERVAL_SECONDS = _int("CLEANUP_INTERVAL_SECONDS", 300) # как часто уборщик работает в реплике
def _migrations_dir() -> Path:
"""Каталог SQL-миграций: в образе /srv/migrations, в репозитории ./migrations."""
explicit = os.environ.get("MIGRATIONS_DIR")
if explicit:
return Path(explicit)
here = Path(__file__).resolve()
for candidate in (here.parents[1] / "migrations", here.parents[2] / "migrations"):
if candidate.is_dir():
return candidate
return here.parents[1] / "migrations"
MIGRATIONS_DIR = _migrations_dir()
def validate() -> None:
"""Проверка при старте: лучше упасть сразу с понятной ошибкой, чем на первом запросе."""
if not DATABASE_URL:
raise RuntimeError("Не задан адрес PostgreSQL: DATABASE_URL_FILE (или DATABASE_URL)")
if SESSION_STORE != "postgres":
raise RuntimeError("SESSION_STORE поддерживает только значение postgres (Valkey здесь — кэш)")
if DB_POOL_MIN_SIZE > DB_POOL_MAX_SIZE:
raise RuntimeError("DB_POOL_MIN_SIZE больше DB_POOL_MAX_SIZE")
def validate_s3() -> None:
"""Для API (не для migrate): без ключей S3 вложения работать не смогут."""
if not (S3_ENDPOINT and S3_BUCKET and S3_ACCESS_KEY_ID and S3_SECRET_ACCESS_KEY):
raise RuntimeError("Не заданы S3_ENDPOINT, S3_BUCKET или ключи S3 (S3_*_FILE)")
if ATTACHMENT_GRACE_SECONDS < UPLOAD_TIMEOUT_SECONDS + 60:
raise RuntimeError("ATTACHMENT_GRACE_SECONDS должен быть заметно больше UPLOAD_TIMEOUT_SECONDS")