forked from mtusi2026/mtusi2026lab4
153 lines
11 KiB
Python
153 lines
11 KiB
Python
"""Настройки из переменных окружения.
|
||
|
||
Конфигурация не зашита в код и в образ: один и тот же образ запускается
|
||
с разными настройками (обычный API, API с коротким TTL сессии, сервис миграций).
|
||
Секреты (адреса БД и Valkey с паролями) передаются не значением переменной,
|
||
а путём к файлу: *_FILE=/run/secrets/... Так пароль не виден в `docker inspect`.
|
||
"""
|
||
import os
|
||
import socket
|
||
from pathlib import Path
|
||
|
||
|
||
def _int(name: str, default: int, minimum: int = 1) -> int:
|
||
value = int(os.environ.get(name, str(default)))
|
||
if value < minimum:
|
||
raise ValueError(f"{name} должен быть не меньше {minimum}")
|
||
return value
|
||
|
||
|
||
def _secret(file_var: str, plain_var: str) -> str:
|
||
"""Значение секрета: из файла, указанного в *_FILE, иначе из обычной переменной.
|
||
|
||
strip() убирает перевод строки в конце файла, в том числе \\r из Windows-редакторов:
|
||
иначе он попал бы внутрь пароля и подключение к БД не прошло бы.
|
||
"""
|
||
path = os.environ.get(file_var, "").strip()
|
||
if path:
|
||
return Path(path).read_text(encoding="utf-8").strip()
|
||
return os.environ.get(plain_var, "").strip()
|
||
|
||
|
||
APP_HOST = os.environ.get("APP_HOST", "0.0.0.0") # 0.0.0.0 = слушать на всех интерфейсах контейнера
|
||
APP_PORT = _int("APP_PORT", 8080)
|
||
APP_ENV = os.environ.get("APP_ENV", "lab")
|
||
# Версия сборки (build arg APP_VERSION в Dockerfile). Пишется в лог при старте;
|
||
# по ней student-tests/rolling_update.py проверяет, что все реплики заменены новой версией.
|
||
APP_VERSION = os.environ.get("APP_VERSION", "dev")
|
||
|
||
# --- реплики (с lab3) ---
|
||
# X-Instance-Id: какая реплика обслужила запрос. В Docker hostname контейнера — это первые
|
||
# 12 символов его ID, поэтому по заголовку контейнер сразу находится в `docker ps`.
|
||
# Значение не меняется, пока жив процесс. В lab7 его нужно заменить случайным alias.
|
||
INSTANCE_ID = os.environ.get("INSTANCE_ID", "").strip() or socket.gethostname()
|
||
|
||
# Остановка по SIGTERM в два шага (см. __main__.py):
|
||
# 1) SHUTDOWN_DRAIN_SECONDS: /health/ready уже отвечает 503, но запросы ещё обслуживаются.
|
||
# HAProxy проверяет готовность раз в 1 с и после 2 неудач подряд (через ~1,5 с)
|
||
# перестаёт слать сюда запросы. 3 с — с запасом;
|
||
# 2) GRACEFUL_SHUTDOWN_SECONDS: uvicorn закрывает приём и доделывает начатые запросы.
|
||
# Самый долгий запрос: ожидание соединения из пула (3 с) + statement_timeout (5 с) = 8 с.
|
||
# Docker ждёт дольше суммы (stop_grace_period: 15s в compose.yaml), потом SIGKILL.
|
||
SHUTDOWN_DRAIN_SECONDS = _int("SHUTDOWN_DRAIN_SECONDS", 3, minimum=0)
|
||
GRACEFUL_SHUTDOWN_SECONDS = _int("GRACEFUL_SHUTDOWN_SECONDS", 8)
|
||
|
||
# --- сессии ---
|
||
SESSION_TTL_SECONDS = _int("SESSION_TTL_SECONDS", 3600)
|
||
# Источник истины для сессий. Поддерживается только postgres: Valkey в этой работе — кэш.
|
||
SESSION_STORE = os.environ.get("SESSION_STORE", "postgres").strip()
|
||
# Сколько секунд запись о сессии может жить в кэше (не дольше самой сессии).
|
||
# Это верхняя граница «устаревания»: см. sessions.py и REPORT.md.
|
||
SESSION_CACHE_TTL_SECONDS = _int("SESSION_CACHE_TTL_SECONDS", 30)
|
||
|
||
# --- PostgreSQL ---
|
||
DATABASE_URL = _secret("DATABASE_URL_FILE", "DATABASE_URL")
|
||
DB_POOL_MIN_SIZE = _int("DB_POOL_MIN_SIZE", 1)
|
||
DB_POOL_MAX_SIZE = _int("DB_POOL_MAX_SIZE", 10) # пул ограничен: не больше 10 соединений с БД
|
||
DB_POOL_TIMEOUT_SECONDS = _int("DB_POOL_TIMEOUT_SECONDS", 3) # ждать свободное соединение не дольше
|
||
DB_CONNECT_TIMEOUT_SECONDS = _int("DB_CONNECT_TIMEOUT_SECONDS", 3)
|
||
DB_STATEMENT_TIMEOUT_MS = _int("DB_STATEMENT_TIMEOUT_MS", 5000) # один SQL-запрос не дольше 5 с
|
||
DB_STARTUP_WAIT_SECONDS = _int("DB_STARTUP_WAIT_SECONDS", 60) # сколько ждать БД и миграции при старте
|
||
|
||
# --- Valkey (кэш сессий, общий для всех реплик) ---
|
||
CACHE_URL = _secret("CACHE_URL_FILE", "CACHE_URL") # пусто = работать без кэша
|
||
CACHE_TIMEOUT_MS = _int("CACHE_TIMEOUT_MS", 300) # кэш должен отвечать быстро, иначе обходим его
|
||
CACHE_POOL_MAX_SIZE = _int("CACHE_POOL_MAX_SIZE", 20)
|
||
# Как часто фоновый поток каждой реплики проверяет Valkey (PING). Так реплика замечает сбой
|
||
# Valkey, даже если в этот момент через неё не шли запросы (см. sessions.py).
|
||
CACHE_CHECK_INTERVAL_SECONDS = _int("CACHE_CHECK_INTERVAL_SECONDS", 1)
|
||
|
||
# IDEMPOTENCY_TTL_SECONDS из .env.example не используется: ключ идемпотентности хранится
|
||
# в строке сообщения столько же, сколько само сообщение (бессрочно, то есть дольше 24 ч
|
||
# из контракта). См. migrations/004_message_idempotency.sql и REPORT.md.
|
||
|
||
# --- S3 (с lab4): байты вложений в приватном bucket SeaweedFS, метаданные — в PostgreSQL ---
|
||
S3_ENDPOINT = os.environ.get("S3_ENDPOINT", "http://s3:9000").strip()
|
||
S3_REGION = os.environ.get("S3_REGION", "us-east-1").strip()
|
||
S3_BUCKET = os.environ.get("S3_BUCKET", "messenger-attachments").strip()
|
||
# Отдельный пользователь S3 только для API: права лишь на объекты своего bucket
|
||
# (secrets/s3_config.json). Ключи администратора S3 сюда не передаются.
|
||
S3_ACCESS_KEY_ID = _secret("S3_ACCESS_KEY_ID_FILE", "S3_ACCESS_KEY_ID")
|
||
S3_SECRET_ACCESS_KEY = _secret("S3_SECRET_ACCESS_KEY_FILE", "S3_SECRET_ACCESS_KEY")
|
||
# Таймауты S3: недоступный S3 даёт быстрый 503, а не зависший запрос.
|
||
# Ответ на запрос клиента всё равно не дольше S3_OPERATION_TIMEOUT_SECONDS (6 с), см. ниже.
|
||
S3_CONNECT_TIMEOUT_SECONDS = _int("S3_CONNECT_TIMEOUT_SECONDS", 2)
|
||
S3_READ_TIMEOUT_SECONDS = _int("S3_READ_TIMEOUT_SECONDS", 5)
|
||
S3_MAX_ATTEMPTS = _int("S3_MAX_ATTEMPTS", 2) # 1 попытка + 1 повтор при сетевой ошибке
|
||
# Общий предел на одну операцию S3 (включая поиск имени в DNS, который таймауты выше не покрывают).
|
||
S3_OPERATION_TIMEOUT_SECONDS = _int("S3_OPERATION_TIMEOUT_SECONDS", 6)
|
||
|
||
# --- загрузка картинок ---
|
||
MAX_UPLOAD_BYTES = _int("MAX_UPLOAD_BYTES", 10 * 1024 * 1024) # 10 MiB = 10 485 760 байт (контракт)
|
||
MAX_IMAGE_PIXELS = _int("MAX_IMAGE_PIXELS", 40_000_000) # 40 млн пикселей (контракт)
|
||
# Тело читается кусками; в памяти держится не больше UPLOAD_SPOOL_BYTES на загрузку,
|
||
# остальное — во временном файле, который удаляется сразу после запроса (это буфер, а не хранилище).
|
||
UPLOAD_SPOOL_BYTES = _int("UPLOAD_SPOOL_BYTES", 1024 * 1024)
|
||
# Если клиент передаёт файл дольше этого, загрузка прерывается (400): медленный клиент
|
||
# не держит память и соединение бесконечно.
|
||
UPLOAD_TIMEOUT_SECONDS = _int("UPLOAD_TIMEOUT_SECONDS", 60)
|
||
# Сколько картинок реплика декодирует одновременно. Декодирование PNG 40 Мп занимает до 160 МиБ,
|
||
# поэтому по одной: пик памяти не растёт с числом одновременных загрузок.
|
||
IMAGE_DECODE_CONCURRENCY = _int("IMAGE_DECODE_CONCURRENCY", 1)
|
||
IMAGE_DECODE_WAIT_SECONDS = _int("IMAGE_DECODE_WAIT_SECONDS", 10) # дольше ждать очередь — 503
|
||
|
||
# --- уборщик незавершённых загрузок (cleanup.py) ---
|
||
# Grace period: pending-строку и объект без строки трогаем, только если им больше 15 минут.
|
||
# Это намного дольше самой долгой загрузки (UPLOAD_TIMEOUT_SECONDS + S3), поэтому идущая
|
||
# прямо сейчас загрузка никогда не будет удалена.
|
||
ATTACHMENT_GRACE_SECONDS = _int("ATTACHMENT_GRACE_SECONDS", 900)
|
||
CLEANUP_INTERVAL_SECONDS = _int("CLEANUP_INTERVAL_SECONDS", 300) # как часто уборщик работает в реплике
|
||
|
||
|
||
def _migrations_dir() -> Path:
|
||
"""Каталог SQL-миграций: в образе /srv/migrations, в репозитории ./migrations."""
|
||
explicit = os.environ.get("MIGRATIONS_DIR")
|
||
if explicit:
|
||
return Path(explicit)
|
||
here = Path(__file__).resolve()
|
||
for candidate in (here.parents[1] / "migrations", here.parents[2] / "migrations"):
|
||
if candidate.is_dir():
|
||
return candidate
|
||
return here.parents[1] / "migrations"
|
||
|
||
|
||
MIGRATIONS_DIR = _migrations_dir()
|
||
|
||
|
||
def validate() -> None:
|
||
"""Проверка при старте: лучше упасть сразу с понятной ошибкой, чем на первом запросе."""
|
||
if not DATABASE_URL:
|
||
raise RuntimeError("Не задан адрес PostgreSQL: DATABASE_URL_FILE (или DATABASE_URL)")
|
||
if SESSION_STORE != "postgres":
|
||
raise RuntimeError("SESSION_STORE поддерживает только значение postgres (Valkey здесь — кэш)")
|
||
if DB_POOL_MIN_SIZE > DB_POOL_MAX_SIZE:
|
||
raise RuntimeError("DB_POOL_MIN_SIZE больше DB_POOL_MAX_SIZE")
|
||
|
||
|
||
def validate_s3() -> None:
|
||
"""Для API (не для migrate): без ключей S3 вложения работать не смогут."""
|
||
if not (S3_ENDPOINT and S3_BUCKET and S3_ACCESS_KEY_ID and S3_SECRET_ACCESS_KEY):
|
||
raise RuntimeError("Не заданы S3_ENDPOINT, S3_BUCKET или ключи S3 (S3_*_FILE)")
|
||
if ATTACHMENT_GRACE_SECONDS < UPLOAD_TIMEOUT_SECONDS + 60:
|
||
raise RuntimeError("ATTACHMENT_GRACE_SECONDS должен быть заметно больше UPLOAD_TIMEOUT_SECONDS")
|