- upload: delete the stored object when ready fails before COMMIT or the pending row is gone (503 instead of 500); unknown COMMIT outcome keeps it - cleaner service (python -m src.cleaner): stale pending rows older than grace (900 s, must exceed 17 s live-upload bound) under FOR UPDATE SKIP LOCKED, object before row, own S3 user with read/delete only - shared session_scope for API and cleaner; early_stop process name - partial index on pending attachments, CREATE INDEX CONCURRENTLY - s3-bootstrap: cleaner user, policy and checks; make env_setup appends missing template variables to an existing .env - failure checks: cleaner on the failure stand, id-list hook actions, five new and three updated tests; driver upload-consistency - sync upload-consistency deltas into main specs (storage-consistency) Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
107 lines
6.5 KiB
Bash
107 lines
6.5 KiB
Bash
# Шаблон .env: `make env_setup` создаёт из него .env и подставляет
|
||
# случайные значения в пустые POSTGRES_PASSWORD, VALKEY_PASSWORD и шесть
|
||
# секретов S3 (S3_ROOT_*, S3_JWT_SIGNING_KEY, S3_API_*, S3_CLEANER_*).
|
||
# Существующий .env он не перезаписывает, а дописывает в конец
|
||
# переменные шаблона, которых в нём нет: секреты — случайными, остальные
|
||
# — значениями шаблона; печатает только имена.
|
||
# .env не коммитить. .env читают compose, Makefile и приложение
|
||
# (pydantic-settings); в контейнеры он не попадает.
|
||
# Параметры приложения — в формате настроек SECTION__FIELD, без секции —
|
||
# только то, что приложение не читает. Комментарии — только отдельными
|
||
# строками: make оставляет хвостовой комментарий частью значения.
|
||
# Соответствие переменным skeleton (APP_HOST, APP_PORT, APP_ENV,
|
||
# SESSION_TTL_SECONDS, DATABASE_URL_FILE, SESSION_STORE, CACHE_URL_FILE,
|
||
# с lab3 — API_REPLICAS, IDEMPOTENCY_TTL_SECONDS, с lab4 — S3_ENDPOINT,
|
||
# S3_REGION, S3_BUCKET, S3_ACCESS_KEY_ID_FILE, S3_SECRET_ACCESS_KEY_FILE,
|
||
# MAX_UPLOAD_BYTES, MAX_IMAGE_PIXELS) — в REPORT.md, «Архитектура и
|
||
# решения». Имена skeleton S3_* буквально не заводятся: S3 настраивают
|
||
# строки блока S3 ниже.
|
||
|
||
# порт сервиса ([app] port): на нём слушает приложение, его же
|
||
# публикует compose, на нём же healthcheck
|
||
APP__PORT=8080
|
||
# порт на 127.0.0.1 хоста, куда публикуется балансировщик HAProxy —
|
||
# единственная точка входа; приложение его не читает
|
||
APP_OUT_PORT=8080
|
||
# число реплик сервиса api за балансировщиком (имя skeleton); читают
|
||
# compose (deploy.replicas) и Makefile, приложение — нет. Разовая
|
||
# подмена — make replicas API_REPLICAS=N
|
||
API_REPLICAS=2
|
||
|
||
# PostgreSQL. POSTGRES_USER, POSTGRES_PASSWORD и POSTGRES_DB читает и
|
||
# образ postgres; пароль задаётся только при первом создании volume.
|
||
# Пустой пароль образ postgres не принимает: make env_setup подставляет
|
||
# случайный
|
||
POSTGRES_USER=messenger
|
||
POSTGRES_PASSWORD=
|
||
POSTGRES_DB=messenger
|
||
# адрес и порт Postgres внутри сети compose: по ним ходят API и миграции
|
||
# в docker, порт слушает сам сервер (PGPORT)
|
||
POSTGRES_HOST=postgres
|
||
POSTGRES_PORT=5432
|
||
# порт на 127.0.0.1 хоста, куда публикуется Postgres: к нему подключается
|
||
# приложение в console
|
||
POSTGRES_OUT_PORT=5433
|
||
# мосты для console: приложение на хосте берёт значения отсюда, в docker
|
||
# их задаёт environment compose
|
||
DATABASE__HOST=127.0.0.1
|
||
DATABASE__PORT=${POSTGRES_OUT_PORT}
|
||
DATABASE__USER=${POSTGRES_USER}
|
||
DATABASE__PASSWORD=${POSTGRES_PASSWORD}
|
||
DATABASE__NAME=${POSTGRES_DB}
|
||
|
||
# Valkey — кэш карточек чатов. Пароль читают и сервер (--requirepass), и
|
||
# приложение; пустой make env_setup заменяет случайным
|
||
VALKEY_PASSWORD=
|
||
# адрес и порт Valkey внутри сети compose: по ним ходит API в docker,
|
||
# порт слушает сам сервер
|
||
VALKEY_HOST=valkey
|
||
VALKEY_PORT=6379
|
||
# порт на 127.0.0.1 хоста, куда публикуется Valkey: к нему подключается
|
||
# приложение в console
|
||
VALKEY_OUT_PORT=6380
|
||
# мосты для console: в docker их задаёт environment compose
|
||
CACHE__HOST=127.0.0.1
|
||
CACHE__PORT=${VALKEY_OUT_PORT}
|
||
CACHE__PASSWORD=${VALKEY_PASSWORD}
|
||
|
||
# S3 (SeaweedFS) — байты вложений. Шесть пустых секретов make env_setup
|
||
# заменяет случайными hex; без них compose не стартует. Кто какой секрет
|
||
# получает — docker-compose.yml, якоря x-s3-*
|
||
# имя bucket: читают приложение ([s3] bucket) и bootstrap S3, который его
|
||
# создаёт; 3–63 символа: строчные буквы, цифры, точка и дефис
|
||
S3__BUCKET=messenger
|
||
# административные ключ и секрет S3: только сервер s3 (без учётной
|
||
# записи он открыт анониму), ни API, ни bootstrap их не получают
|
||
S3_ROOT_ACCESS_KEY=
|
||
S3_ROOT_SECRET_KEY=
|
||
# ключ подписи служебных вызовов SeaweedFS (gRPC шлюза, IAM filer):
|
||
# сервер s3 и bootstrap
|
||
S3_JWT_SIGNING_KEY=
|
||
# ключи пользователя API (только объекты своего bucket): bootstrap
|
||
# заводит пользователя с ними, реплики API ходят с ними в S3. Новый
|
||
# секрет вступает в силу при следующем bootstrap (make run_docker)
|
||
S3_API_ACCESS_KEY=
|
||
S3_API_SECRET_KEY=
|
||
# ключи пользователя уборщика незавершённых загрузок (только чтение и
|
||
# удаление объектов своего bucket): bootstrap заводит пользователя с
|
||
# ними, сервис cleaner ходит с ними в S3; реплики API их не получают
|
||
S3_CLEANER_ACCESS_KEY=
|
||
S3_CLEANER_SECRET_KEY=
|
||
# адрес и порт API S3 внутри сети compose: по ним ходит API в docker,
|
||
# порт слушает сам сервер и проверяет bootstrap
|
||
S3_HOST=s3
|
||
S3_PORT=8333
|
||
# порт на 127.0.0.1 хоста, куда публикуется API S3: к нему подключается
|
||
# приложение в console (консоль и UI SeaweedFS не публикуются)
|
||
S3_OUT_PORT=8334
|
||
# мосты для console: в docker их задаёт environment compose
|
||
S3__HOST=127.0.0.1
|
||
S3__PORT=${S3_OUT_PORT}
|
||
S3__ACCESS_KEY_ID=${S3_API_ACCESS_KEY}
|
||
S3__SECRET_ACCESS_KEY=${S3_API_SECRET_KEY}
|
||
|
||
# make test_isolated: порт на 127.0.0.1, куда публикуется тестовый
|
||
# контейнер API
|
||
TEST_APP_PORT=18088
|