Upload answers 202 after staging, a queued job in PostgreSQL and a broker confirm; a separate worker publishes the original and a thumbnail with bounded retries. Adds the job and variant tables, the broker service, the worker S3 user, cleanup and reconcile support for staging and variants, the failure stand with broker and worker, bench and driver updates. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
151 lines
9.1 KiB
TOML
151 lines
9.1 KiB
TOML
# Шаблон config.toml: `make env_setup` копирует его, не перезаписывая
|
||
# существующий файл. Приоритет: окружение > .env > config.toml >
|
||
# значения по умолчанию. Любой параметр можно задать и через
|
||
# окружение: SECTION__FIELD, например APP__LOG_LEVEL.
|
||
|
||
[app]
|
||
# Режим (console / docker) задают Makefile, Dockerfile и compose через
|
||
# APP__RUN_MODE, а порт — APP__PORT в .env; здесь их не указывать.
|
||
log_level = "INFO"
|
||
# сколько секунд uvicorn ждёт текущие запросы после SIGTERM
|
||
graceful_shutdown_seconds = 8
|
||
# сколько секунд uvicorn держит простаивающее keep-alive соединение;
|
||
# больше, чем HAProxy держит простаивающее соединение с репликой (timeout
|
||
# http-keep-alive 10 с, http-reuse never в infra/haproxy/haproxy.cfg):
|
||
# простаивающее соединение закрывает LB
|
||
keep_alive_seconds = 60
|
||
# instance_id (X-Instance-Id) здесь не задавать: config.toml общий у всех
|
||
# реплик, а значение должно различаться. Без него берётся hostname
|
||
# процесса (в compose — короткий ID контейнера); в консоли его можно
|
||
# заменить окружением APP__INSTANCE_ID.
|
||
|
||
[database]
|
||
# Адрес, порт, пользователь, пароль и имя базы приходят из .env (мосты к
|
||
# POSTGRES_*) и из environment compose; здесь их не указывать.
|
||
pool_size = 10
|
||
# 0 — без переполнения: соединения сверх pool_size переоткрывались бы
|
||
max_overflow = 0
|
||
# секунды ожидания свободного соединения пула
|
||
pool_timeout_seconds = 5
|
||
# секунды на установку соединения
|
||
connect_timeout_seconds = 3
|
||
# миллисекунды, серверный statement_timeout; 0 — без ограничения
|
||
statement_timeout_ms = 5000
|
||
# секунды на всю работу запроса с БД: зависший сервер, обрыв сети
|
||
request_timeout_seconds = 6
|
||
# миллисекунды, серверный idle_in_transaction_session_timeout: транзакцию
|
||
# замороженной реплики PostgreSQL прерывает и снимает её блокировки.
|
||
# 0 — без ограничения, иначе больше request_timeout_seconds
|
||
idle_in_transaction_timeout_ms = 10000
|
||
|
||
[auth]
|
||
# секунды жизни сессии с момента входа (контрактное имя
|
||
# SESSION_TTL_SECONDS); короткий срок для проверки истечения — окружением
|
||
# AUTH__SESSION_TTL_SECONDS=2
|
||
session_ttl_seconds = 3600
|
||
# сколько хэшей пароля Argon2id считается одновременно: 64 MiB на каждый
|
||
kdf_concurrency = 4
|
||
|
||
[cache]
|
||
# Адрес, порт и пароль Valkey приходят из .env (мосты к VALKEY_*) и из
|
||
# environment compose; здесь их не указывать.
|
||
# секунды на всю команду Valkey (ожидание пула, соединение, ответ);
|
||
# дольше — запрос идёт в PostgreSQL
|
||
timeout_seconds = 0.2
|
||
# секунды, на которые кэш пропускается после отказа Valkey
|
||
retry_after_seconds = 5
|
||
# секунды жизни карточки чата в кэше
|
||
chat_ttl_seconds = 3600
|
||
# соединений в пуле клиента Valkey
|
||
max_connections = 10
|
||
|
||
[s3]
|
||
# Адрес, порт, bucket и ключи пользователя API приходят из .env (мосты к
|
||
# S3_OUT_PORT и S3_API_*, S3__BUCKET) и из environment compose; здесь их
|
||
# не указывать.
|
||
# регион подписи SigV4; SeaweedFS берёт его из запроса
|
||
region = "us-east-1"
|
||
# секунды на установку соединения с S3
|
||
connect_timeout_seconds = 1
|
||
# секунды на весь вызов S3; меньше timeout server HAProxy (10 с)
|
||
timeout_seconds = 5
|
||
# соединений в пуле клиента S3 на процесс
|
||
max_connections = 10
|
||
|
||
[idempotency]
|
||
# секунды, в течение которых повтор POST сообщения с тем же
|
||
# Idempotency-Key возвращает исходный результат (имя skeleton
|
||
# IDEMPOTENCY_TTL_SECONDS); контракт требует не меньше 86400 — 24 ч.
|
||
# Короткий срок для проверки — окружением IDEMPOTENCY__TTL_SECONDS=2
|
||
ttl_seconds = 86400
|
||
|
||
[uploads]
|
||
# Места загрузок вложений процесса API; разовая подмена — окружением
|
||
# UPLOADS__*. Память загрузок ограничена числом мест, а не клиентов.
|
||
# загрузок, которые процесс обрабатывает одновременно
|
||
max_concurrent = 4
|
||
# загрузок, которые ждут места; 0 — без ожидания, сразу 429
|
||
max_waiting = 16
|
||
# секунды ожидания места, затем 429 rate_limited с Retry-After; вход,
|
||
# членство и ожидание (2 × 6 + 5 = 17 с) меньше timeout server LB пути
|
||
# загрузки (30 с). Проверки при старте нет: больше 18 с — 504 от LB
|
||
# вместо 429
|
||
wait_timeout_seconds = 5
|
||
# секунды на всё тело с момента, как загрузка заняла место; иначе 400
|
||
body_timeout_seconds = 30
|
||
|
||
[cleaner]
|
||
# Уборщик незавершённых загрузок (сервис compose cleaner); реплики API
|
||
# секцию не читают. Разовая подмена — окружением CLEANER__*.
|
||
# секунды между проходами
|
||
interval_seconds = 60
|
||
# секунды: строку pending моложе уборщик не трогает (grace period).
|
||
# Должно быть больше 2 × [database] request_timeout_seconds +
|
||
# [s3] timeout_seconds (17 с), иначе уборщик не стартует
|
||
pending_grace_seconds = 900
|
||
# строк pending в одной выборке кандидатов
|
||
batch_size = 100
|
||
|
||
[reconciler]
|
||
# Сверка bucket и БД процессом уборщика: плановая в сервисе cleaner и
|
||
# разовая — make reconcile. Grace — [cleaner] pending_grace_seconds.
|
||
# Разовая подмена — окружением RECONCILER__*.
|
||
# секунды между плановыми сверками; 0 — без плановой сверки
|
||
interval_seconds = 3600
|
||
# ключей на страницу списка S3 и строк на запрос к PostgreSQL, 1–1000
|
||
page_size = 1000
|
||
# предел изменений за проход: больше — ни одного изменения и код 3;
|
||
# разовый проход принимает больший аргументом --max-changes
|
||
max_changes = 100
|
||
# предел скорости прохода: объектов S3 в секунду (ключи страниц списка,
|
||
# HEAD, GET, DELETE) в среднем от начала прохода; 0 — без предела;
|
||
# разовый проход принимает другой аргументом --max-objects-per-second
|
||
max_objects_per_second = 2000
|
||
|
||
[broker]
|
||
# Адрес, порт, пользователь и пароль RabbitMQ приходят из .env (мосты к
|
||
# RABBITMQ_*) и из environment compose; здесь их не указывать.
|
||
# секунды на установку соединения с брокером
|
||
connect_timeout_seconds = 2
|
||
# секунды на публикацию целиком: соединение, канал, публикация и
|
||
# подтверждение; по сроку загрузка отвечает 503. Часть цепочки таймаутов
|
||
# пути загрузки: после тела 29 с меньше timeout server LB (30 с)
|
||
publish_timeout_seconds = 2
|
||
|
||
[worker]
|
||
# Worker обработки вложений (сервис compose worker); реплики API секцию не
|
||
# читают. Разовая подмена — окружением WORKER__*.
|
||
# заданий, которые worker обрабатывает одновременно (лимит памяти
|
||
# контейнера — на эту конкуренцию)
|
||
concurrency = 2
|
||
# начатых попыток у задания, включая первую
|
||
max_attempts = 5
|
||
# секунды на одну попытку
|
||
job_timeout_seconds = 60
|
||
# секунды паузы перед следующей попыткой
|
||
retry_delay_seconds = 10
|
||
# секунды, которые worker ждёт начатые задания после SIGTERM, не больше 9
|
||
graceful_shutdown_seconds = 8
|
||
# секунды паузы между попытками соединиться с брокером
|
||
reconnect_seconds = 2
|