336 lines
16 KiB
Python
336 lines
16 KiB
Python
import re
|
||
import socket
|
||
from pathlib import Path
|
||
from typing import Annotated, Literal
|
||
|
||
from pydantic import (
|
||
BaseModel,
|
||
BeforeValidator,
|
||
Field,
|
||
SecretStr,
|
||
ValidationInfo,
|
||
field_validator,
|
||
)
|
||
from pydantic_settings import (
|
||
BaseSettings,
|
||
PydanticBaseSettingsSource,
|
||
SettingsConfigDict,
|
||
TomlConfigSettingsSource,
|
||
)
|
||
from sqlalchemy.engine import URL
|
||
|
||
from src.schemas.enums import RunModeEnum
|
||
from src.utils.constants import INSTANCE_ID_PATTERN, S3_BUCKET_NAME_PATTERN
|
||
|
||
BASE_DIR = Path(__file__).resolve().parent.parent.parent
|
||
ENV_PATH = BASE_DIR.joinpath(".env")
|
||
TOML_SETTINGS_PATH = BASE_DIR.joinpath("config.toml")
|
||
|
||
LogLevel = Annotated[
|
||
Literal["DEBUG", "INFO", "WARNING", "ERROR"],
|
||
BeforeValidator(
|
||
lambda value: value.upper() if isinstance(value, str) else value,
|
||
),
|
||
]
|
||
|
||
|
||
class App(BaseModel):
|
||
run_mode: RunModeEnum = RunModeEnum.CONSOLE
|
||
port: int = Field(default=8080, ge=1, le=65535)
|
||
log_level: LogLevel = "INFO"
|
||
# секунды, которые uvicorn ждёт текущие запросы после SIGTERM;
|
||
# docker шлёт SIGKILL через 10 с, поэтому не больше 9
|
||
graceful_shutdown_seconds: int = Field(default=8, ge=1, le=9)
|
||
# секунды, которые uvicorn держит простаивающее keep-alive соединение.
|
||
# Больше, чем HAProxy держит простаивающий сеанс клиента, а с ним и
|
||
# соединение с репликой (timeout http-keep-alive 10 с и http-reuse
|
||
# never в infra/haproxy/haproxy.cfg): закрывает LB, а не реплика, и
|
||
# запрос не уходит в закрывающееся соединение
|
||
keep_alive_seconds: int = Field(default=60, ge=1)
|
||
# X-Instance-Id и поле instance_id журнала. Пусто — hostname процесса
|
||
# (в compose — короткий ID контейнера). В config.toml, .env и compose
|
||
# не задавать: эти источники общие у реплик, а значение должно
|
||
# различаться
|
||
instance_id: str = Field(default="", validate_default=True)
|
||
|
||
@field_validator("instance_id")
|
||
@classmethod
|
||
def instance_id_or_hostname(cls, value: str) -> str:
|
||
"""Пустое значение — hostname, вычисляется один раз при загрузке."""
|
||
value = value or socket.gethostname()
|
||
if not re.fullmatch(INSTANCE_ID_PATTERN, value):
|
||
raise ValueError(f"must match {INSTANCE_ID_PATTERN}")
|
||
return value
|
||
|
||
@property
|
||
def host(self) -> str:
|
||
"""Адрес прослушивания: localhost в console, все интерфейсы в docker."""
|
||
if self.run_mode == RunModeEnum.DOCKER:
|
||
return "0.0.0.0"
|
||
return "127.0.0.1"
|
||
|
||
|
||
class Database(BaseModel):
|
||
"""Подключение к PostgreSQL.
|
||
|
||
Адрес и учётные данные приходят из `.env`: в console — мостами к
|
||
`POSTGRES_*`, в docker — из `environment` compose. Пул и таймауты —
|
||
из `config.toml`.
|
||
"""
|
||
|
||
host: str = "127.0.0.1"
|
||
port: int = Field(default=5432, ge=1, le=65535)
|
||
user: str = "messenger"
|
||
password: SecretStr = SecretStr("")
|
||
name: str = "messenger"
|
||
|
||
pool_size: int = Field(default=10, ge=1)
|
||
# соединений сверх pool_size; по умолчанию 0. Соединение переполнения
|
||
# пул закрывает при возврате, и под нагрузкой оно открывается заново:
|
||
# процесс PostgreSQL и SCRAM ~11 мс CPU реплики в event loop на каждое
|
||
# (design change scaling-improvement)
|
||
max_overflow: int = Field(default=0, ge=0)
|
||
# секунды ожидания свободного соединения пула
|
||
pool_timeout_seconds: float = Field(default=5, gt=0)
|
||
# секунды на установку соединения
|
||
connect_timeout_seconds: float = Field(default=3, gt=0)
|
||
# миллисекунды, серверный statement_timeout; 0 — без ограничения
|
||
statement_timeout_ms: int = Field(default=5000, ge=0)
|
||
# секунды на всю работу запроса с БД (asyncio): зависший сервер или
|
||
# обрыв сети, где серверный таймаут не сработает
|
||
request_timeout_seconds: float = Field(default=6, gt=0)
|
||
# миллисекунды, серверный idle_in_transaction_session_timeout: открытую
|
||
# транзакцию замороженной реплики PostgreSQL прерывает и снимает её
|
||
# блокировки (ключ идемпотентности); 0 — без ограничения
|
||
idle_in_transaction_timeout_ms: int = Field(default=10000, ge=0)
|
||
|
||
@field_validator("idle_in_transaction_timeout_ms")
|
||
@classmethod
|
||
def idle_longer_than_request(cls, value: int, info: ValidationInfo) -> int:
|
||
"""Срок простоя транзакции больше срока работы запроса с БД.
|
||
|
||
Транзакция живого запроса дольше `request_timeout_seconds` не
|
||
живёт: прерывать её PostgreSQL не должен. Проверка на поле, а не
|
||
на секции: в ошибке валидатора секции было бы всё её значение,
|
||
вместе с паролем.
|
||
"""
|
||
request = info.data.get("request_timeout_seconds")
|
||
if value and request is not None and value <= request * 1000:
|
||
raise ValueError(
|
||
"must be 0 or greater than request_timeout_seconds in "
|
||
"milliseconds",
|
||
)
|
||
return value
|
||
|
||
@property
|
||
def url(self) -> URL:
|
||
"""URL asyncpg; пароль экранирует `URL.create`, строку не собираем."""
|
||
return URL.create(
|
||
drivername="postgresql+asyncpg",
|
||
username=self.user,
|
||
password=self.password.get_secret_value(),
|
||
host=self.host,
|
||
port=self.port,
|
||
database=self.name,
|
||
)
|
||
|
||
|
||
class Auth(BaseModel):
|
||
"""Сессии и пароли; значения — из `config.toml`.
|
||
|
||
Контрактное `SESSION_TTL_SECONDS` сопоставлено с `session_ttl_seconds`
|
||
в `REPORT.md`; разовая подмена — окружением `AUTH__SESSION_TTL_SECONDS`.
|
||
"""
|
||
|
||
# секунды жизни сессии с момента входа
|
||
session_ttl_seconds: int = Field(default=3600, gt=0)
|
||
# сколько хэшей пароля считается одновременно: Argon2id берёт 64 MiB
|
||
# памяти на каждый
|
||
kdf_concurrency: int = Field(default=4, gt=0)
|
||
|
||
|
||
class Cache(BaseModel):
|
||
"""Подключение к Valkey (кэш карточек чатов).
|
||
|
||
Адрес и пароль приходят из `.env`: в console — мостами к `VALKEY_*`,
|
||
в docker — из `environment` compose. Таймауты и срок записей — из
|
||
`config.toml`.
|
||
"""
|
||
|
||
host: str = "127.0.0.1"
|
||
port: int = Field(default=6379, ge=1, le=65535)
|
||
password: SecretStr = SecretStr("")
|
||
|
||
# секунды на всю команду кэша: ожидание пула, соединение, повтор и
|
||
# ответ; дольше — запрос идёт в PostgreSQL
|
||
timeout_seconds: float = Field(default=0.2, gt=0)
|
||
# секунды, на которые кэш пропускается после отказа Valkey
|
||
retry_after_seconds: float = Field(default=5, gt=0)
|
||
# секунды жизни карточки чата в кэше
|
||
chat_ttl_seconds: int = Field(default=3600, gt=0)
|
||
# соединений в пуле клиента
|
||
max_connections: int = Field(default=10, ge=1)
|
||
|
||
|
||
class S3(BaseModel):
|
||
"""Подключение к S3 (SeaweedFS): байты вложений.
|
||
|
||
Адрес, порт, bucket и ключи пользователя API приходят из `.env`: в
|
||
console — мостами к `S3_OUT_PORT` и `S3_API_*`, в docker — из
|
||
`environment` compose. Регион, сроки и пул — из `config.toml`.
|
||
Соответствие имён skeleton `S3_*` — в `REPORT.md`.
|
||
"""
|
||
|
||
host: str = "127.0.0.1"
|
||
port: int = Field(default=8333, ge=1, le=65535)
|
||
# тот же bucket создаёт bootstrap стенда (S3__BUCKET в .env)
|
||
bucket: str = "messenger"
|
||
# ключи пользователя API в S3, не административные; пусто — warning
|
||
# при старте
|
||
access_key_id: SecretStr = SecretStr("")
|
||
secret_access_key: SecretStr = SecretStr("")
|
||
# подпись SigV4 требует регион; SeaweedFS берёт его из запроса
|
||
region: str = "us-east-1"
|
||
# секунды на установку соединения
|
||
connect_timeout_seconds: float = Field(default=1, gt=0)
|
||
# секунды на весь вызов (соединение, запрос, ответ); меньше timeout
|
||
# server HAProxy (10 с)
|
||
timeout_seconds: float = Field(default=5, gt=0)
|
||
# соединений в пуле aiohttp на процесс
|
||
max_connections: int = Field(default=10, ge=1)
|
||
|
||
@field_validator("bucket")
|
||
@classmethod
|
||
def bucket_name(cls, value: str) -> str:
|
||
"""Имя bucket по правилам S3, иначе сервис не стартует."""
|
||
if not re.fullmatch(S3_BUCKET_NAME_PATTERN, value):
|
||
raise ValueError(f"must match {S3_BUCKET_NAME_PATTERN}")
|
||
return value
|
||
|
||
@property
|
||
def endpoint_url(self) -> str:
|
||
"""Адрес API S3; клиент сам URL не собирает."""
|
||
return f"http://{self.host}:{self.port}"
|
||
|
||
|
||
class Idempotency(BaseModel):
|
||
"""Ключи идемпотентности отправки сообщения; срок — из `config.toml`.
|
||
|
||
Имя skeleton `IDEMPOTENCY_TTL_SECONDS` сопоставлено с `ttl_seconds` в
|
||
`REPORT.md`; разовая подмена — окружением `IDEMPOTENCY__TTL_SECONDS`.
|
||
"""
|
||
|
||
# секунды, в течение которых повтор с тем же ключом возвращает
|
||
# исходный результат; контракт требует не меньше 86400 (24 ч),
|
||
# меньший срок — только для проверок
|
||
ttl_seconds: int = Field(default=86400, gt=0)
|
||
|
||
|
||
class Uploads(BaseModel):
|
||
"""Места загрузок вложений процесса API (design change
|
||
`upload-memory`, решения 1–4 и 9).
|
||
|
||
Значения — из `config.toml`, разовая подмена — окружением
|
||
`UPLOADS__*`. Память загрузок ограничена числом мест, а не числом
|
||
клиентов; сроки — часть цепочки таймаутов пути загрузки в LB
|
||
(`infra/haproxy/haproxy.cfg`, `REPORT.md`).
|
||
"""
|
||
|
||
# загрузок, которые процесс обрабатывает одновременно (места)
|
||
max_concurrent: int = Field(default=4, ge=1)
|
||
# загрузок, которые ждут места; 0 — без ожидания, сразу 429
|
||
max_waiting: int = Field(default=16, ge=0)
|
||
# секунды ожидания места; не вышло — 429
|
||
wait_timeout_seconds: float = Field(default=5, gt=0)
|
||
# секунды на всё тело с момента, как загрузка заняла место; иначе 400
|
||
body_timeout_seconds: float = Field(default=30, gt=0)
|
||
|
||
|
||
class Cleaner(BaseModel):
|
||
"""Уборщик незавершённых загрузок (`python -m src.cleaner`).
|
||
|
||
Значения — из `config.toml`, разовая подмена — окружением
|
||
`CLEANER__*`. Реплики API секцию не читают. Grace сравнивает с
|
||
границей живой загрузки сам уборщик при старте (design change
|
||
`upload-consistency`, решение 4).
|
||
"""
|
||
|
||
# секунды между проходами
|
||
interval_seconds: float = Field(default=60, gt=0)
|
||
# секунды: моложе строку pending уборщик не трогает (grace period)
|
||
pending_grace_seconds: int = Field(default=900, gt=0)
|
||
# строк pending в одной выборке кандидатов
|
||
batch_size: int = Field(default=100, ge=1)
|
||
|
||
|
||
class Reconciler(BaseModel):
|
||
"""Сверка bucket и БД процессом уборщика (design change
|
||
`track2-reconciler`, решение 10).
|
||
|
||
Значения — из `config.toml`, разовая подмена — окружением
|
||
`RECONCILER__*`. Grace у сверки свой не заводится: она берёт `[cleaner]
|
||
pending_grace_seconds` и его проверку при старте. Реплики API секцию не
|
||
читают.
|
||
"""
|
||
|
||
# секунды между плановыми сверками сервиса уборщика; 0 — без плановой
|
||
interval_seconds: float = Field(default=3600, ge=0)
|
||
# ключей на страницу списка S3 и строк на запрос к PostgreSQL; S3 отдаёт
|
||
# не больше 1000 ключей за страницу
|
||
page_size: int = Field(default=1000, ge=1, le=1000)
|
||
# предел изменений за проход: больше — ни одного изменения и код 3
|
||
max_changes: int = Field(default=100, ge=1)
|
||
# предел скорости прохода: объектов S3 в секунду в среднем от начала
|
||
# прохода (ключи страниц списка, HEAD, GET, DELETE); 0 — без предела
|
||
# (design change `track2-reconcile-cost`, решение 6); `inf` и `nan` —
|
||
# ошибка: «Started cleaner» не JSON, а пауза бессмысленна (verify S2)
|
||
max_objects_per_second: float = Field(
|
||
default=2000.0,
|
||
ge=0,
|
||
allow_inf_nan=False,
|
||
)
|
||
|
||
|
||
class Settings(BaseSettings):
|
||
model_config = SettingsConfigDict(
|
||
extra="ignore",
|
||
env_file=ENV_PATH,
|
||
toml_file=TOML_SETTINGS_PATH,
|
||
env_nested_delimiter="__",
|
||
case_sensitive=False,
|
||
)
|
||
|
||
app: App = App()
|
||
database: Database = Database()
|
||
auth: Auth = Auth()
|
||
cache: Cache = Cache()
|
||
s3: S3 = S3()
|
||
idempotency: Idempotency = Idempotency()
|
||
uploads: Uploads = Uploads()
|
||
cleaner: Cleaner = Cleaner()
|
||
reconciler: Reconciler = Reconciler()
|
||
|
||
@classmethod
|
||
def settings_customise_sources(
|
||
cls,
|
||
settings_cls: type[BaseSettings],
|
||
init_settings: PydanticBaseSettingsSource,
|
||
env_settings: PydanticBaseSettingsSource,
|
||
dotenv_settings: PydanticBaseSettingsSource,
|
||
file_secret_settings: PydanticBaseSettingsSource, # noqa: ARG003
|
||
) -> tuple[PydanticBaseSettingsSource, ...]:
|
||
"""Приоритет: окружение → .env → config.toml → дефолты.
|
||
|
||
Оба файловых источника сами пропускают отсутствующий файл: без
|
||
.env и config.toml сервис поднимается на значениях по умолчанию.
|
||
"""
|
||
return (
|
||
init_settings,
|
||
env_settings,
|
||
dotenv_settings,
|
||
TomlConfigSettingsSource(settings_cls),
|
||
)
|
||
|
||
|
||
settings = Settings()
|