Upload answers 202 after staging, a queued job in PostgreSQL and a broker confirm; a separate worker publishes the original and a thumbnail with bounded retries. Adds the job and variant tables, the broker service, the worker S3 user, cleanup and reconcile support for staging and variants, the failure stand with broker and worker, bench and driver updates. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
136 lines
8.3 KiB
Bash
136 lines
8.3 KiB
Bash
# Шаблон .env: `make env_setup` создаёт из него .env и подставляет
|
||
# случайные значения в пустые POSTGRES_PASSWORD, VALKEY_PASSWORD,
|
||
# RABBITMQ_DEFAULT_PASS и секреты S3 (S3_ROOT_*, S3_JWT_SIGNING_KEY,
|
||
# S3_API_*, S3_CLEANER_*, S3_WORKER_*).
|
||
# Существующий .env он не перезаписывает, а дописывает в конец
|
||
# переменные шаблона, которых в нём нет: секреты — случайными, остальные
|
||
# — значениями шаблона; печатает только имена.
|
||
# .env не коммитить. .env читают compose, Makefile и приложение
|
||
# (pydantic-settings); в контейнеры он не попадает.
|
||
# Параметры приложения — в формате настроек SECTION__FIELD, без секции —
|
||
# только то, что приложение не читает. Комментарии — только отдельными
|
||
# строками: make оставляет хвостовой комментарий частью значения.
|
||
# Соответствие переменным skeleton (APP_HOST, APP_PORT, APP_ENV,
|
||
# SESSION_TTL_SECONDS, DATABASE_URL_FILE, SESSION_STORE, CACHE_URL_FILE,
|
||
# с lab3 — API_REPLICAS, IDEMPOTENCY_TTL_SECONDS, с lab4 — S3_ENDPOINT,
|
||
# S3_REGION, S3_BUCKET, S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE,
|
||
# MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS) — в REPORT.md, «Архитектура и
|
||
# решения». Имена skeleton S3_* буквально не заводятся: S3 настраивают
|
||
# строки блока S3 ниже.
|
||
# С lab5 — BROKER_URL_FILE: [broker] мостами из RABBITMQ_* ниже (значения, а
|
||
# не файл); WORKER_CONCURRENCY: [worker] concurrency; JOB_MAX_ATTEMPTS:
|
||
# [worker] max_attempts; JOB_TIMEOUT_SECONDS: [worker] job_timeout_seconds;
|
||
# STAGING_RETENTION_SECONDS: поля пока нет, появляется с очисткой staging в
|
||
# change pipeline-reliability.
|
||
|
||
# порт сервиса ([app] port): на нём слушает приложение, его же
|
||
# публикует compose, на нём же healthcheck
|
||
APP__PORT=8080
|
||
# порт на 127.0.0.1 хоста, куда публикуется балансировщик HAProxy —
|
||
# единственная точка входа; приложение его не читает
|
||
APP_OUT_PORT=8080
|
||
# число реплик сервиса api за балансировщиком (имя skeleton); читают
|
||
# compose (deploy.replicas) и Makefile, приложение — нет. Разовая
|
||
# подмена — make replicas API_REPLICAS=N
|
||
API_REPLICAS=2
|
||
|
||
# PostgreSQL. POSTGRES_USER, POSTGRES_PASSWORD и POSTGRES_DB читает и
|
||
# образ postgres; пароль задаётся только при первом создании volume.
|
||
# Пустой пароль образ postgres не принимает: make env_setup подставляет
|
||
# случайный
|
||
POSTGRES_USER=messenger
|
||
POSTGRES_PASSWORD=
|
||
POSTGRES_DB=messenger
|
||
# адрес и порт Postgres внутри сети compose: по ним ходят API и миграции
|
||
# в docker, порт слушает сам сервер (PGPORT)
|
||
POSTGRES_HOST=postgres
|
||
POSTGRES_PORT=5432
|
||
# порт на 127.0.0.1 хоста, куда публикуется Postgres: к нему подключается
|
||
# приложение в console
|
||
POSTGRES_OUT_PORT=5433
|
||
# мосты для console: приложение на хосте берёт значения отсюда, в docker
|
||
# их задаёт environment compose
|
||
DATABASE__HOST=127.0.0.1
|
||
DATABASE__PORT=${POSTGRES_OUT_PORT}
|
||
DATABASE__USER=${POSTGRES_USER}
|
||
DATABASE__PASSWORD=${POSTGRES_PASSWORD}
|
||
DATABASE__NAME=${POSTGRES_DB}
|
||
|
||
# Valkey — кэш карточек чатов. Пароль читают и сервер (--requirepass), и
|
||
# приложение; пустой make env_setup заменяет случайным
|
||
VALKEY_PASSWORD=
|
||
# адрес и порт Valkey внутри сети compose: по ним ходит API в docker,
|
||
# порт слушает сам сервер
|
||
VALKEY_HOST=valkey
|
||
VALKEY_PORT=6379
|
||
# порт на 127.0.0.1 хоста, куда публикуется Valkey: к нему подключается
|
||
# приложение в console
|
||
VALKEY_OUT_PORT=6380
|
||
# мосты для console: в docker их задаёт environment compose
|
||
CACHE__HOST=127.0.0.1
|
||
CACHE__PORT=${VALKEY_OUT_PORT}
|
||
CACHE__PASSWORD=${VALKEY_PASSWORD}
|
||
|
||
# S3 (SeaweedFS) — байты вложений. Шесть пустых секретов make env_setup
|
||
# заменяет случайными hex; без них compose не стартует. Кто какой секрет
|
||
# получает — docker-compose.yml, якоря x-s3-*
|
||
# имя bucket: читают приложение ([s3] bucket) и bootstrap S3, который его
|
||
# создаёт; 3–63 символа: строчные буквы, цифры, точка и дефис
|
||
S3__BUCKET=messenger
|
||
# административные ключ и секрет S3: только сервер s3 (без учётной
|
||
# записи он открыт анониму), ни API, ни bootstrap их не получают
|
||
S3_ROOT_ACCESS_KEY=
|
||
S3_ROOT_SECRET_KEY=
|
||
# ключ подписи служебных вызовов SeaweedFS (gRPC шлюза, IAM filer):
|
||
# сервер s3 и bootstrap
|
||
S3_JWT_SIGNING_KEY=
|
||
# ключи пользователя API (только объекты своего bucket): bootstrap
|
||
# заводит пользователя с ними, реплики API ходят с ними в S3. Новый
|
||
# секрет вступает в силу при следующем bootstrap (make run_docker)
|
||
S3_API_ACCESS_KEY=
|
||
S3_API_SECRET_KEY=
|
||
# ключи пользователя уборщика незавершённых загрузок (только чтение и
|
||
# удаление объектов своего bucket): bootstrap заводит пользователя с
|
||
# ними, сервис cleaner ходит с ними в S3; реплики API их не получают
|
||
S3_CLEANER_ACCESS_KEY=
|
||
S3_CLEANER_SECRET_KEY=
|
||
# ключи пользователя worker (только чтение и запись объектов своего
|
||
# bucket): bootstrap заводит пользователя с ними, сервис worker и make
|
||
# run_worker ходят с ними в S3; реплики API их не получают
|
||
S3_WORKER_ACCESS_KEY=
|
||
S3_WORKER_SECRET_KEY=
|
||
# адрес и порт API S3 внутри сети compose: по ним ходит API в docker,
|
||
# порт слушает сам сервер и проверяет bootstrap
|
||
S3_HOST=s3
|
||
S3_PORT=8333
|
||
# порт на 127.0.0.1 хоста, куда публикуется API S3: к нему подключается
|
||
# приложение в console (консоль и UI SeaweedFS не публикуются)
|
||
S3_OUT_PORT=8334
|
||
# мосты для console: в docker их задаёт environment compose
|
||
S3__HOST=127.0.0.1
|
||
S3__PORT=${S3_OUT_PORT}
|
||
S3__ACCESS_KEY_ID=${S3_API_ACCESS_KEY}
|
||
S3__SECRET_ACCESS_KEY=${S3_API_SECRET_KEY}
|
||
|
||
# RabbitMQ — брокер заданий обработки вложений. Пользователя и пароль читает
|
||
# и образ брокера: учётная запись создаётся при первом старте на пустом
|
||
# volume. Пустой пароль make env_setup заменяет случайным
|
||
RABBITMQ_DEFAULT_USER=messenger
|
||
RABBITMQ_DEFAULT_PASS=
|
||
# адрес и порт AMQP внутри сети compose: по ним ходят API и worker в docker,
|
||
# порт слушает сам брокер
|
||
RABBITMQ_HOST=rabbitmq
|
||
RABBITMQ_PORT=5672
|
||
# порт на 127.0.0.1 хоста, куда публикуется AMQP: к нему подключаются
|
||
# приложение и worker в console; другие порты брокера не публикуются
|
||
RABBITMQ_OUT_PORT=5673
|
||
# мосты для console: в docker их задаёт environment compose
|
||
BROKER__HOST=127.0.0.1
|
||
BROKER__PORT=${RABBITMQ_OUT_PORT}
|
||
BROKER__USER=${RABBITMQ_DEFAULT_USER}
|
||
BROKER__PASSWORD=${RABBITMQ_DEFAULT_PASS}
|
||
|
||
# make test_isolated: порт на 127.0.0.1, куда публикуется тестовый
|
||
# контейнер API
|
||
TEST_APP_PORT=18088
|