Files
mtusi2026lab4/src/config/settings.py
T

307 lines
14 KiB
Python
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
import re
import socket
from pathlib import Path
from typing import Annotated, Literal
from pydantic import (
BaseModel,
BeforeValidator,
Field,
SecretStr,
ValidationInfo,
field_validator,
)
from pydantic_settings import (
BaseSettings,
PydanticBaseSettingsSource,
SettingsConfigDict,
TomlConfigSettingsSource,
)
from sqlalchemy.engine import URL
from src.schemas.enums import RunModeEnum
from src.utils.constants import INSTANCE_ID_PATTERN, S3_BUCKET_NAME_PATTERN
BASE_DIR = Path(__file__).resolve().parent.parent.parent
ENV_PATH = BASE_DIR.joinpath(".env")
TOML_SETTINGS_PATH = BASE_DIR.joinpath("config.toml")
LogLevel = Annotated[
Literal["DEBUG", "INFO", "WARNING", "ERROR"],
BeforeValidator(
lambda value: value.upper() if isinstance(value, str) else value,
),
]
class App(BaseModel):
run_mode: RunModeEnum = RunModeEnum.CONSOLE
port: int = Field(default=8080, ge=1, le=65535)
log_level: LogLevel = "INFO"
# секунды, которые uvicorn ждёт текущие запросы после SIGTERM;
# docker шлёт SIGKILL через 10 с, поэтому не больше 9
graceful_shutdown_seconds: int = Field(default=8, ge=1, le=9)
# секунды, которые uvicorn держит простаивающее keep-alive соединение.
# Больше, чем HAProxy держит простаивающий сеанс клиента, а с ним и
# соединение с репликой (timeout http-keep-alive 10 с и http-reuse
# never в infra/haproxy/haproxy.cfg): закрывает LB, а не реплика, и
# запрос не уходит в закрывающееся соединение
keep_alive_seconds: int = Field(default=60, ge=1)
# X-Instance-Id и поле instance_id журнала. Пусто — hostname процесса
# (в compose — короткий ID контейнера). В config.toml, .env и compose
# не задавать: эти источники общие у реплик, а значение должно
# различаться
instance_id: str = Field(default="", validate_default=True)
@field_validator("instance_id")
@classmethod
def instance_id_or_hostname(cls, value: str) -> str:
"""Пустое значение — hostname, вычисляется один раз при загрузке."""
value = value or socket.gethostname()
if not re.fullmatch(INSTANCE_ID_PATTERN, value):
raise ValueError(f"must match {INSTANCE_ID_PATTERN}")
return value
@property
def host(self) -> str:
"""Адрес прослушивания: localhost в console, все интерфейсы в docker."""
if self.run_mode == RunModeEnum.DOCKER:
return "0.0.0.0"
return "127.0.0.1"
class Database(BaseModel):
"""Подключение к PostgreSQL.
Адрес и учётные данные приходят из `.env`: в console — мостами к
`POSTGRES_*`, в docker — из `environment` compose. Пул и таймауты —
из `config.toml`.
"""
host: str = "127.0.0.1"
port: int = Field(default=5432, ge=1, le=65535)
user: str = "messenger"
password: SecretStr = SecretStr("")
name: str = "messenger"
pool_size: int = Field(default=10, ge=1)
# соединений сверх pool_size; по умолчанию 0. Соединение переполнения
# пул закрывает при возврате, и под нагрузкой оно открывается заново:
# процесс PostgreSQL и SCRAM ~11 мс CPU реплики в event loop на каждое
# (design change scaling-improvement)
max_overflow: int = Field(default=0, ge=0)
# секунды ожидания свободного соединения пула
pool_timeout_seconds: float = Field(default=5, gt=0)
# секунды на установку соединения
connect_timeout_seconds: float = Field(default=3, gt=0)
# миллисекунды, серверный statement_timeout; 0 — без ограничения
statement_timeout_ms: int = Field(default=5000, ge=0)
# секунды на всю работу запроса с БД (asyncio): зависший сервер или
# обрыв сети, где серверный таймаут не сработает
request_timeout_seconds: float = Field(default=6, gt=0)
# миллисекунды, серверный idle_in_transaction_session_timeout: открытую
# транзакцию замороженной реплики PostgreSQL прерывает и снимает её
# блокировки (ключ идемпотентности); 0 — без ограничения
idle_in_transaction_timeout_ms: int = Field(default=10000, ge=0)
@field_validator("idle_in_transaction_timeout_ms")
@classmethod
def idle_longer_than_request(cls, value: int, info: ValidationInfo) -> int:
"""Срок простоя транзакции больше срока работы запроса с БД.
Транзакция живого запроса дольше `request_timeout_seconds` не
живёт: прерывать её PostgreSQL не должен. Проверка на поле, а не
на секции: в ошибке валидатора секции было бы всё её значение,
вместе с паролем.
"""
request = info.data.get("request_timeout_seconds")
if value and request is not None and value <= request * 1000:
raise ValueError(
"must be 0 or greater than request_timeout_seconds in "
"milliseconds",
)
return value
@property
def url(self) -> URL:
"""URL asyncpg; пароль экранирует `URL.create`, строку не собираем."""
return URL.create(
drivername="postgresql+asyncpg",
username=self.user,
password=self.password.get_secret_value(),
host=self.host,
port=self.port,
database=self.name,
)
class Auth(BaseModel):
"""Сессии и пароли; значения — из `config.toml`.
Контрактное `SESSION_TTL_SECONDS` сопоставлено с `session_ttl_seconds`
в `REPORT.md`; разовая подмена — окружением `AUTH__SESSION_TTL_SECONDS`.
"""
# секунды жизни сессии с момента входа
session_ttl_seconds: int = Field(default=3600, gt=0)
# сколько хэшей пароля считается одновременно: Argon2id берёт 64 MiB
# памяти на каждый
kdf_concurrency: int = Field(default=4, gt=0)
class Cache(BaseModel):
"""Подключение к Valkey (кэш карточек чатов).
Адрес и пароль приходят из `.env`: в console — мостами к `VALKEY_*`,
в docker — из `environment` compose. Таймауты и срок записей — из
`config.toml`.
"""
host: str = "127.0.0.1"
port: int = Field(default=6379, ge=1, le=65535)
password: SecretStr = SecretStr("")
# секунды на всю команду кэша: ожидание пула, соединение, повтор и
# ответ; дольше — запрос идёт в PostgreSQL
timeout_seconds: float = Field(default=0.2, gt=0)
# секунды, на которые кэш пропускается после отказа Valkey
retry_after_seconds: float = Field(default=5, gt=0)
# секунды жизни карточки чата в кэше
chat_ttl_seconds: int = Field(default=3600, gt=0)
# соединений в пуле клиента
max_connections: int = Field(default=10, ge=1)
class S3(BaseModel):
"""Подключение к S3 (SeaweedFS): байты вложений.
Адрес, порт, bucket и ключи пользователя API приходят из `.env`: в
console — мостами к `S3_OUT_PORT` и `S3_API_*`, в docker — из
`environment` compose. Регион, сроки и пул — из `config.toml`.
Соответствие имён skeleton `S3_*` — в `REPORT.md`.
"""
host: str = "127.0.0.1"
port: int = Field(default=8333, ge=1, le=65535)
# тот же bucket создаёт bootstrap стенда (S3__BUCKET в .env)
bucket: str = "messenger"
# ключи пользователя API в S3, не административные; пусто — warning
# при старте
access_key_id: SecretStr = SecretStr("")
secret_access_key: SecretStr = SecretStr("")
# подпись SigV4 требует регион; SeaweedFS берёт его из запроса
region: str = "us-east-1"
# секунды на установку соединения
connect_timeout_seconds: float = Field(default=1, gt=0)
# секунды на весь вызов (соединение, запрос, ответ); меньше timeout
# server HAProxy (10 с)
timeout_seconds: float = Field(default=5, gt=0)
# соединений в пуле aiohttp на процесс
max_connections: int = Field(default=10, ge=1)
@field_validator("bucket")
@classmethod
def bucket_name(cls, value: str) -> str:
"""Имя bucket по правилам S3, иначе сервис не стартует."""
if not re.fullmatch(S3_BUCKET_NAME_PATTERN, value):
raise ValueError(f"must match {S3_BUCKET_NAME_PATTERN}")
return value
@property
def endpoint_url(self) -> str:
"""Адрес API S3; клиент сам URL не собирает."""
return f"http://{self.host}:{self.port}"
class Idempotency(BaseModel):
"""Ключи идемпотентности отправки сообщения; срок — из `config.toml`.
Имя skeleton `IDEMPOTENCY_TTL_SECONDS` сопоставлено с `ttl_seconds` в
`REPORT.md`; разовая подмена — окружением `IDEMPOTENCY__TTL_SECONDS`.
"""
# секунды, в течение которых повтор с тем же ключом возвращает
# исходный результат; контракт требует не меньше 86400 (24 ч),
# меньший срок — только для проверок
ttl_seconds: int = Field(default=86400, gt=0)
class Uploads(BaseModel):
"""Места загрузок вложений процесса API (design change
`upload-memory`, решения 1–4 и 9).
Значения — из `config.toml`, разовая подмена — окружением
`UPLOADS__*`. Память загрузок ограничена числом мест, а не числом
клиентов; сроки — часть цепочки таймаутов пути загрузки в LB
(`infra/haproxy/haproxy.cfg`, `REPORT.md`).
"""
# загрузок, которые процесс обрабатывает одновременно (места)
max_concurrent: int = Field(default=4, ge=1)
# загрузок, которые ждут места; 0 — без ожидания, сразу 429
max_waiting: int = Field(default=16, ge=0)
# секунды ожидания места; не вышло — 429
wait_timeout_seconds: float = Field(default=5, gt=0)
# секунды на всё тело с момента, как загрузка заняла место; иначе 400
body_timeout_seconds: float = Field(default=30, gt=0)
class Cleaner(BaseModel):
"""Уборщик незавершённых загрузок (`python -m src.cleaner`).
Значения — из `config.toml`, разовая подмена — окружением
`CLEANER__*`. Реплики API секцию не читают. Grace сравнивает с
границей живой загрузки сам уборщик при старте (design change
`upload-consistency`, решение 4).
"""
# секунды между проходами
interval_seconds: float = Field(default=60, gt=0)
# секунды: моложе строку pending уборщик не трогает (grace period)
pending_grace_seconds: int = Field(default=900, gt=0)
# строк pending в одной выборке кандидатов
batch_size: int = Field(default=100, ge=1)
class Settings(BaseSettings):
model_config = SettingsConfigDict(
extra="ignore",
env_file=ENV_PATH,
toml_file=TOML_SETTINGS_PATH,
env_nested_delimiter="__",
case_sensitive=False,
)
app: App = App()
database: Database = Database()
auth: Auth = Auth()
cache: Cache = Cache()
s3: S3 = S3()
idempotency: Idempotency = Idempotency()
uploads: Uploads = Uploads()
cleaner: Cleaner = Cleaner()
@classmethod
def settings_customise_sources(
cls,
settings_cls: type[BaseSettings],
init_settings: PydanticBaseSettingsSource,
env_settings: PydanticBaseSettingsSource,
dotenv_settings: PydanticBaseSettingsSource,
file_secret_settings: PydanticBaseSettingsSource, # noqa: ARG003
) -> tuple[PydanticBaseSettingsSource, ...]:
"""Приоритет: окружение → .env → config.toml → дефолты.
Оба файловых источника сами пропускают отсутствующий файл: без
.env и config.toml сервис поднимается на значениях по умолчанию.
"""
return (
init_settings,
env_settings,
dotenv_settings,
TomlConfigSettingsSource(settings_cls),
)
settings = Settings()