Reject uploads with 429 at [uploads] max_unfinished_jobs, counted by the existing partial indexes in the membership block. Add the bench_queue profile, hypotheses H1-H9 and the fifth failure-stand API. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
187 lines
11 KiB
TOML
187 lines
11 KiB
TOML
# Шаблон config.toml: `make env_setup` копирует его, не перезаписывая
|
||
# существующий файл. Приоритет: окружение > .env > config.toml >
|
||
# значения по умолчанию. Любой параметр можно задать и через
|
||
# окружение: SECTION__FIELD, например APP__LOG_LEVEL.
|
||
|
||
[app]
|
||
# Режим (console / docker) задают Makefile, Dockerfile и compose через
|
||
# APP__RUN_MODE, а порт — APP__PORT в .env; здесь их не указывать.
|
||
log_level = "INFO"
|
||
# сколько секунд uvicorn ждёт текущие запросы после SIGTERM
|
||
graceful_shutdown_seconds = 8
|
||
# сколько секунд uvicorn держит простаивающее keep-alive соединение;
|
||
# больше, чем HAProxy держит простаивающее соединение с репликой (timeout
|
||
# http-keep-alive 10 с, http-reuse never в infra/haproxy/haproxy.cfg):
|
||
# простаивающее соединение закрывает LB
|
||
keep_alive_seconds = 60
|
||
# instance_id (X-Instance-Id) здесь не задавать: config.toml общий у всех
|
||
# реплик, а значение должно различаться. Без него берётся hostname
|
||
# процесса (в compose — короткий ID контейнера); в консоли его можно
|
||
# заменить окружением APP__INSTANCE_ID.
|
||
|
||
[database]
|
||
# Адрес, порт, пользователь, пароль и имя базы приходят из .env (мосты к
|
||
# POSTGRES_*) и из environment compose; здесь их не указывать.
|
||
pool_size = 10
|
||
# 0 — без переполнения: соединения сверх pool_size переоткрывались бы
|
||
max_overflow = 0
|
||
# секунды ожидания свободного соединения пула
|
||
pool_timeout_seconds = 5
|
||
# секунды на установку соединения
|
||
connect_timeout_seconds = 3
|
||
# миллисекунды, серверный statement_timeout; 0 — без ограничения
|
||
statement_timeout_ms = 5000
|
||
# секунды на всю работу запроса с БД: зависший сервер, обрыв сети
|
||
request_timeout_seconds = 6
|
||
# миллисекунды, серверный idle_in_transaction_session_timeout: транзакцию
|
||
# замороженной реплики PostgreSQL прерывает и снимает её блокировки.
|
||
# 0 — без ограничения, иначе больше request_timeout_seconds
|
||
idle_in_transaction_timeout_ms = 10000
|
||
|
||
[auth]
|
||
# секунды жизни сессии с момента входа (контрактное имя
|
||
# SESSION_TTL_SECONDS); короткий срок для проверки истечения — окружением
|
||
# AUTH__SESSION_TTL_SECONDS=2
|
||
session_ttl_seconds = 3600
|
||
# сколько хэшей пароля Argon2id считается одновременно: 64 MiB на каждый
|
||
kdf_concurrency = 4
|
||
|
||
[cache]
|
||
# Адрес, порт и пароль Valkey приходят из .env (мосты к VALKEY_*) и из
|
||
# environment compose; здесь их не указывать.
|
||
# секунды на всю команду Valkey (ожидание пула, соединение, ответ);
|
||
# дольше — запрос идёт в PostgreSQL
|
||
timeout_seconds = 0.2
|
||
# секунды, на которые кэш пропускается после отказа Valkey
|
||
retry_after_seconds = 5
|
||
# секунды жизни карточки чата в кэше
|
||
chat_ttl_seconds = 3600
|
||
# соединений в пуле клиента Valkey
|
||
max_connections = 10
|
||
|
||
[s3]
|
||
# Адрес, порт, bucket и ключи пользователя API приходят из .env (мосты к
|
||
# S3_OUT_PORT и S3_API_*, S3__BUCKET) и из environment compose; здесь их
|
||
# не указывать.
|
||
# регион подписи SigV4; SeaweedFS берёт его из запроса
|
||
region = "us-east-1"
|
||
# секунды на установку соединения с S3
|
||
connect_timeout_seconds = 1
|
||
# секунды на весь вызов S3; меньше timeout server HAProxy (10 с)
|
||
timeout_seconds = 5
|
||
# соединений в пуле клиента S3 на процесс
|
||
max_connections = 10
|
||
|
||
[idempotency]
|
||
# секунды, в течение которых повтор POST сообщения с тем же
|
||
# Idempotency-Key возвращает исходный результат (имя skeleton
|
||
# IDEMPOTENCY_TTL_SECONDS); контракт требует не меньше 86400 — 24 ч.
|
||
# Короткий срок для проверки — окружением IDEMPOTENCY__TTL_SECONDS=2
|
||
ttl_seconds = 86400
|
||
|
||
[uploads]
|
||
# Места загрузок вложений процесса API; разовая подмена — окружением
|
||
# UPLOADS__*. Память загрузок ограничена числом мест, а не клиентов.
|
||
# загрузок, которые процесс обрабатывает одновременно
|
||
max_concurrent = 4
|
||
# загрузок, которые ждут места; 0 — без ожидания, сразу 429
|
||
max_waiting = 16
|
||
# секунды ожидания места, затем 429 rate_limited с Retry-After; вход,
|
||
# членство и ожидание (2 × 6 + 5 = 17 с) меньше timeout server LB пути
|
||
# загрузки (30 с). Проверки при старте нет: больше 18 с — 504 от LB
|
||
# вместо 429
|
||
wait_timeout_seconds = 5
|
||
# секунды на всё тело с момента, как загрузка заняла место; иначе 400
|
||
body_timeout_seconds = 30
|
||
# незавершённых заданий стенда (queued и processing), при которых загрузка
|
||
# сразу получает 429 rate_limited с Retry-After: 5; 0 — без предела. Срок
|
||
# ожидания = предел / потолок worker; при другом числе worker предел другой
|
||
max_unfinished_jobs = 250
|
||
|
||
[cleaner]
|
||
# Уборщик незавершённых загрузок (сервис compose cleaner); реплики API
|
||
# секцию не читают. Разовая подмена — окружением CLEANER__*.
|
||
# секунды между проходами
|
||
interval_seconds = 60
|
||
# секунды: строку pending моложе уборщик не трогает (grace period).
|
||
# Должно быть больше 2 × [database] request_timeout_seconds +
|
||
# [s3] timeout_seconds (17 с), иначе уборщик не стартует
|
||
pending_grace_seconds = 900
|
||
# строк pending или вложений со staging в одной выборке кандидатов
|
||
batch_size = 100
|
||
# секунды хранения объекта staging вложения failed и объекта staging без
|
||
# метаданных; у ready staging убирается следующим проходом
|
||
staging_retention_seconds = 86400
|
||
|
||
[reconciler]
|
||
# Сверка bucket и БД процессом уборщика: плановая в сервисе cleaner и
|
||
# разовая — make reconcile. Grace — [cleaner] pending_grace_seconds.
|
||
# Разовая подмена — окружением RECONCILER__*.
|
||
# секунды между плановыми сверками; 0 — без плановой сверки
|
||
interval_seconds = 3600
|
||
# ключей на страницу списка S3 и строк на запрос к PostgreSQL, 1–1000
|
||
page_size = 1000
|
||
# предел изменений за проход: больше — ни одного изменения и код 3;
|
||
# разовый проход принимает больший аргументом --max-changes
|
||
max_changes = 100
|
||
# предел скорости прохода: объектов S3 в секунду (ключи страниц списка,
|
||
# HEAD, GET, DELETE) в среднем от начала прохода; 0 — без предела;
|
||
# разовый проход принимает другой аргументом --max-objects-per-second
|
||
max_objects_per_second = 2000
|
||
|
||
[broker]
|
||
# Адрес, порт, пользователь и пароль RabbitMQ приходят из .env (мосты к
|
||
# RABBITMQ_*) и из environment compose; здесь их не указывать.
|
||
# секунды на установку соединения с брокером
|
||
connect_timeout_seconds = 2
|
||
# секунды на публикацию пакета заданий relay целиком: соединение, канал,
|
||
# публикация и подтверждения; меньше срока шага с БД: блокировки строк
|
||
# держатся не дольше него
|
||
publish_timeout_seconds = 2
|
||
|
||
[worker]
|
||
# Worker обработки вложений (сервис compose worker); реплики API и relay
|
||
# секцию не читают. Разовая подмена — окружением WORKER__*.
|
||
# заданий, которые worker обрабатывает одновременно (лимит памяти
|
||
# контейнера — на эту конкуренцию)
|
||
concurrency = 2
|
||
# неподтверждённых сообщений, которые выдаёт брокер
|
||
prefetch = 2
|
||
# попыток у задания с последнего replay, включая первую
|
||
max_attempts = 5
|
||
# секунды на одну попытку
|
||
job_timeout_seconds = 60
|
||
# секунды запаса аренды сверх срока попытки
|
||
lease_margin_seconds = 10
|
||
# секунды, основа паузы перед следующей попыткой: случайно из [d / 2, d],
|
||
# d = min(предел, основа × 2^(N − 1))
|
||
retry_base_delay_seconds = 5
|
||
# секунды, предел паузы; не меньше основы
|
||
retry_max_delay_seconds = 300
|
||
# секунды жизни процесса обработки; меньше срока попытки
|
||
render_timeout_seconds = 40
|
||
# секунды CPU процесса обработки, целое
|
||
render_cpu_limit_seconds = 15
|
||
# МиБ адресного пространства процесса обработки, целое
|
||
render_memory_limit_mib = 450
|
||
# секунды, которые worker ждёт начатые задания после SIGTERM, не больше 8
|
||
graceful_shutdown_seconds = 8
|
||
# секунды паузы между попытками соединиться с брокером и перед возвратом
|
||
# сообщения при отказе PostgreSQL
|
||
reconnect_seconds = 2
|
||
|
||
[relay]
|
||
# Relay публикации заданий (сервис compose relay); реплики API и worker секцию
|
||
# не читают. Разовая подмена — окружением RELAY__*.
|
||
# секунды паузы между проходами, когда публиковать нечего
|
||
poll_interval_seconds = 0.25
|
||
# заданий за один проход
|
||
batch_size = 100
|
||
# предел опубликованных и не взятых заданий; 0 — без предела
|
||
max_published_backlog = 1000
|
||
# секунды: отмеченное задание старше может считаться потерянным, если в
|
||
# очереди нет готовых сообщений
|
||
republish_after_seconds = 300
|
||
# секунды паузы после отказа брокера или PostgreSQL
|
||
failure_pause_seconds = 2
|