Files
mtusi2026lab5/.env.example
T
zemiles 13bec4ab8b ЛР 5 — БПИ2303 — Лазарев — на 4
Асинхронная обработка вложений: RabbitMQ 4.1 (quorum-очереди, publisher
confirms, manual ack, DLQ), transactional outbox, отдельный worker.

- upload: оригинал в staging S3, затем одной транзакцией queued + jobs +
  outbox -> 202; API к брокеру не подключается
- relay: публикация outbox с confirm, reaper истёкших аренд, redrive
- worker: claim по строке jobs, аренда с heartbeat и fencing по
  lease_token, transform в подпроцессе с RLIMIT_AS/RLIMIT_CPU/таймаутом,
  thumbnail 256, crop 128, WebP 1280 по детерминированным ключам
- retry с backoff и jitter, постоянные/временные ошибки, реестр failed,
  ops replay (ready не повторяется), DLQ для невалидных сообщений
- janitor: очистка staging и сирот; миграция 004 с backfill вложений lab4
- тесты отказов: окна COMMIT/publish, крахи worker до/после S3 и ack,
  заморозка worker, всплеск загрузок, права брокера; evidence/ и REPORT.md
2026-11-13 16:28:18 +03:00

87 lines
4.7 KiB
Bash
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Copy to .env for your LOCAL synthetic test environment; never commit .env.
# scripts/init-secrets.sh делает это сам и создаёт файлы в secrets/ (Docker secrets).
APP_HOST=0.0.0.0
APP_PORT=8080
APP_ENV=lab
SESSION_TTL_SECONDS=3600
# Пароль БД НЕ задаётся здесь: он в файле secrets/postgres_password (Docker secret),
# в контейнерах виден как /run/secrets/postgres_password (POSTGRES_PASSWORD_FILE).
# Вместо DATABASE_URL_FILE из skeleton используется POSTGRES_* + POSTGRES_PASSWORD_FILE;
# приложение понимает и DATABASE_URL_FILE (см. REPORT.md).
POSTGRES_DB=messenger
POSTGRES_USER=messenger
# Сессии хранятся в PostgreSQL (lab2), Redis/Valkey не используется:
SESSION_STORE=postgres
API_REPLICAS=2
IDEMPOTENCY_TTL_SECONDS=86400
DB_POOL_SIZE=10
# Graceful shutdown реплики: пауза с ready=503 и лимит на дообслуживание запросов.
DRAIN_SECONDS=3
SHUTDOWN_TIMEOUT_SECONDS=10
LB_PORT=8080
APP_VERSION=1
# Защита от OOM при шторме входов: одновременных scrypt на реплику и ожидание слота (с).
PASSWORD_HASH_CONCURRENCY=2
PASSWORD_HASH_WAIT_SECONDS=0.5
# Readiness: фоновый пинг БД (с) и сколько секунд без успешного пинга реплика ещё «готова».
DB_HEALTH_INTERVAL_SECONDS=1
READY_STALE_SECONDS=3
# Попыток POST /auth/sessions за 10 с с одного IP на LB (сверх — 429).
LOGIN_RATE_LIMIT=20
# --- Lab4: S3 (SeaweedFS) и вложения ---
# S3 API SeaweedFS слушает 8333 (не 9000, как у MinIO); наружу не публикуется.
S3_ENDPOINT=http://s3:8333
S3_REGION=us-east-1
S3_BUCKET=messenger-attachments
# Ключи API (права только Read+Write на bucket). Значения — в secrets/, здесь только пути.
# У worker свой ключ (s3_worker_*), у janitor — свой (s3_janitor_*).
S3_ACCESS_KEY_ID_FILE=/run/secrets/s3_api_access_key
S3_SECRET_ACCESS_KEY_FILE=/run/secrets/s3_api_secret_key
MAX_UPLOAD_BYTES=10485760
MAX_IMAGE_PIXELS=40000000
# Весь приём тела upload, с; одновременных загрузок и JPEG-декодирований на реплику.
UPLOAD_TIMEOUT_SECONDS=60
UPLOAD_CONCURRENCY=8
DECODE_CONCURRENCY=2
# Одновременных S3 PUT на реплику (~20 MiB RAM каждый), остальные ждут в очереди.
S3_PUT_CONCURRENCY=3
S3_CONNECT_TIMEOUT_SECONDS=2
# < timeout server 10s у LB: на зависший S3 API сам отвечает 503, а не LB 504.
S3_READ_TIMEOUT_SECONDS=5
# Janitor: возраст, после которого pending-строка/объект без строки считаются брошенными, и период обхода.
ATTACHMENT_GRACE_SECONDS=3600
JANITOR_INTERVAL_SECONDS=300
# Только для эксперимента отказов (student-tests/consistency_faults.py). В обычной работе 0.
FAULT_INJECTION=0
# --- Lab5: брокер, worker, задания ---
# Брокер RabbitMQ 4.1 (service broker). URL с паролем — в secrets/broker_<relay|worker|ops>_url,
# у каждого сервиса свой пользователь; здесь только путь (переопределяется в compose по сервису).
BROKER_URL_FILE=/run/secrets/broker_worker_url
# Реплик worker и потоков-потребителей в каждой (prefetch 1 на поток).
WORKER_REPLICAS=2
WORKER_CONCURRENCY=2
WORKER_PREFETCH=1
# Попыток на задание; таймаут одной обработки (с); аренда и её продление (heartbeat = lease/3).
JOB_MAX_ATTEMPTS=5
JOB_TIMEOUT_SECONDS=60
JOB_LEASE_SECONDS=30
# Backoff между попытками: min(MAX, BASE*2^(n-1)), равномерно в [d/2, d] (equal jitter).
JOB_RETRY_BASE_SECONDS=2
JOB_RETRY_MAX_SECONDS=60
PIPELINE_VERSION=1
# Лимиты подпроцесса преобразования: адресное пространство (MiB) и CPU-время (с).
TRANSFORM_MEMORY_LIMIT_MB=768
TRANSFORM_CPU_SECONDS=30
# Сколько хранить staging failed-заданий (для replay), с.
STAGING_RETENTION_SECONDS=86400
# Relay: опрос outbox без NOTIFY (с), период reaper (с), повторная публикация «застрявших» queued (с).
RELAY_POLL_SECONDS=1
REAPER_INTERVAL_SECONDS=5
JOB_REDRIVE_AFTER_SECONDS=900
OUTBOX_RETENTION_SECONDS=86400
# Только для экспериментов отказов. В обычной работе пусто/0.
RELAY_FAULT=
WORKER_FAULT_INJECTION=0