# Стенд lab5 (база lab4): клиент -> HAProxy -> API x N -> PostgreSQL + Redis + MinIO # + RabbitMQ; отдельный worker читает задания из quorum-очереди и публикует # оригинал и варианты в конечный S3-prefix. API отвечает 202 после COMMIT # (staging-объект + attachment + job + outbox), поэтому брокер не входит в # /health/ready и его недоступность не останавливает приём загрузок. # Одна команда запуска: make stand-up (docker compose --env-file .env up -d --build --wait) # # Проект запинен именем, чтобы имена контейнеров и labels были предсказуемы для # scripts/stop-one.sh; container_name нигде не задан, иначе масштабирование # одного Compose-service стало бы невозможным. name: mtusi-lab5 services: postgres: image: postgres:16.4-alpine # pg_stat_statements включён для трека 1 (агрегаты SQL по репликам); # max_connections поднят под N x DATABASE_POOL_MAX. command: [ 'postgres', '-c', 'shared_preload_libraries=pg_stat_statements', '-c', 'max_connections=120', '-c', 'shared_buffers=128MB', '-c', 'effective_cache_size=384MB', ] environment: POSTGRES_DB: ${POSTGRES_DB:-messenger} POSTGRES_USER: ${POSTGRES_USER:-messenger} POSTGRES_PASSWORD: ${POSTGRES_PASSWORD:?set POSTGRES_PASSWORD in .env} # Только loopback: операторские проверки (host-side npm run test:e2e, # psql в evidence). API-реплики портов не публикуют вовсе. ports: - '127.0.0.1:${POSTGRES_PUBLISHED_PORT:-5432}:5432' volumes: - postgres-data:/var/lib/postgresql/data deploy: resources: limits: cpus: '${PG_CPUS:-1.5}' memory: ${PG_MEMORY:-512m} healthcheck: test: [ 'CMD-SHELL', 'pg_isready -U $${POSTGRES_USER} -d $${POSTGRES_DB}', ] interval: 5s timeout: 3s retries: 20 redis: image: redis:7.4.2-alpine # appendonly: сессии и кэш переживают рестарт контейнера (проверка # сохранности с неизменным токеном). volatile-lru вытесняет только # ключи с TTL; в стенде у них ограниченный набор и объём. command: [ 'redis-server', '--appendonly', 'yes', '--appendfsync', 'everysec', '--maxmemory', '96mb', '--maxmemory-policy', 'volatile-lru', ] ports: - '127.0.0.1:${REDIS_PUBLISHED_PORT:-6379}:6379' volumes: - redis-data:/data deploy: resources: limits: cpus: '${REDIS_CPUS:-0.25}' memory: ${REDIS_MEMORY:-128m} healthcheck: test: ['CMD', 'redis-cli', 'ping'] interval: 5s timeout: 3s retries: 20 broker: image: rabbitmq:4.1.8-alpine@sha256:153322e3974e6365c50e523e5eadd5a7fae231f0e8c58f67c03bb3e02056e34e # Имя узла rabbit@broker должно оставаться стабильным: при смене # hostname данные в broker-data превращаются в сирот. hostname: broker secrets: - source: rabbitmq_conf target: /etc/rabbitmq/conf.d/20-credentials.conf volumes: - broker-data:/var/lib/rabbitmq # Портов нет: брокер доступен только сервисам compose-сети. deploy: resources: limits: cpus: '${BROKER_CPUS:-0.5}' memory: ${BROKER_MEMORY:-512m} healthcheck: test: ['CMD', 'rabbitmq-diagnostics', '-q', 'check_port_connectivity'] interval: 5s timeout: 5s retries: 30 start_period: 20s stop_grace_period: 30s restart: unless-stopped # One-shot: creates the worker identity and tightens the API identity. # rabbitmqctl talks to rabbit@broker using the shared Erlang cookie, so the # data volume is mounted read-only. broker-init: image: rabbitmq:4.1.8-alpine@sha256:153322e3974e6365c50e523e5eadd5a7fae231f0e8c58f67c03bb3e02056e34e entrypoint: ['/bin/sh', '/bootstrap/init-worker.sh'] volumes: - broker-data:/var/lib/rabbitmq:ro - ./infra/rabbitmq:/bootstrap:ro secrets: [broker_worker_password] depends_on: broker: { condition: service_healthy } restart: 'no' deploy: resources: limits: cpus: '0.25' memory: 128m s3: image: minio/minio:RELEASE.2025-09-07T16-13-09Z@sha256:14cea493d9a34af32f524e538b8346cf79f3321eff8e708c1e2960462bd8936e command: ['server', '/data', '--address', ':9000'] environment: MINIO_ROOT_USER_FILE: minio_root_user MINIO_ROOT_PASSWORD_FILE: minio_root_password MINIO_BROWSER: 'off' secrets: [minio_root_user, minio_root_password] # Консольный порт 9001 не публикуется, консоль отключена (MINIO_BROWSER=off). ports: - '${S3_PUBLIC_BIND:-127.0.0.1}:${S3_PUBLIC_PORT:-9000}:9000' volumes: - s3-data:/data deploy: resources: limits: cpus: '${S3_CPUS:-1.0}' memory: ${S3_MEMORY:-512m} healthcheck: test: ['CMD', 'mc', 'ready', 'local'] interval: 5s timeout: 3s retries: 20 # Идемпотентный bootstrap: bucket, политика, пользователь API. s3-init: image: minio/mc:RELEASE.2025-08-13T08-35-41Z@sha256:a7fe349ef4bd8521fb8497f55c6042871b2ae640607cf99d9bede5e9bdf11727 entrypoint: ['/bin/sh', '/bootstrap/bootstrap.sh'] environment: S3_BUCKET: '${S3_BUCKET:-messenger-attachments}' volumes: - ./infra/minio:/bootstrap:ro secrets: - minio_root_user - minio_root_password - s3_api_access_key_id - s3_api_secret_access_key - s3_worker_access_key_id - s3_worker_secret_access_key depends_on: s3: { condition: service_healthy } restart: 'no' deploy: resources: limits: cpus: '0.25' memory: 128m # Миграции выполняются один раз отдельным сервисом, а не гонкой реплик: # api стартует только после его успешного завершения. migrate: build: context: . dockerfile: Dockerfile image: ${API_IMAGE:-mtusi-messenger:lab5} command: ['node', 'dist/database/migration.runner.js'] env_file: [.env] deploy: resources: limits: cpus: '0.5' memory: 192m depends_on: postgres: { condition: service_healthy } redis: { condition: service_healthy } restart: 'no' api: build: context: . dockerfile: Dockerfile args: BUILD_ID: ${BUILD_ID:-unknown} image: ${API_IMAGE:-mtusi-messenger:lab5} # Портов нет намеренно: единственная точка входа — HAProxy. env_file: [.env] environment: DATABASE_POOL_MAX: ${DATABASE_POOL_MAX:-10} CACHE_MODE: ${CACHE_MODE:-protected} CACHE_MISS_DELAY_MS: ${CACHE_MISS_DELAY_MS:-0} SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} # Бюджет пробы готовности; LB проверяет ту же ручку с timeout check 500 ms. HEALTH_TIMEOUT_MS: ${HEALTH_TIMEOUT_MS:-400} # Дрейн длиннее обнаружения отказа LB (500 ms x fall 2 ≈ 1 s). DRAIN_DELAY_MS: ${DRAIN_DELAY_MS:-3000} S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_api_access_key_id S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_api_secret_access_key UPLOAD_TIMEOUT_MS: ${UPLOAD_TIMEOUT_MS:-25000} DIRECT_UPLOAD_URL_TTL_SECONDS: ${DIRECT_UPLOAD_URL_TTL_SECONDS:-300} ATTACHMENT_SWEEP_GRACE_SECONDS: ${ATTACHMENT_SWEEP_GRACE_SECONDS:-900} ATTACHMENT_SWEEP_INTERVAL_MS: ${ATTACHMENT_SWEEP_INTERVAL_MS:-60000} # libvips держит декодируемое изображение в памяти, а не во временном # файле: /tmp — tmpfs 16 MiB, и изображение ~40 Мп туда не помещается. VIPS_DISC_THRESHOLD: ${VIPS_DISC_THRESHOLD:-1g} FAULT_INJECTION_ENABLED: ${FAULT_INJECTION_ENABLED:-0} JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5} JOB_RETRY_BASE_MS: ${JOB_RETRY_BASE_MS:-1000} JOB_RETRY_MAX_MS: ${JOB_RETRY_MAX_MS:-30000} BROKER_PUBLISH_TIMEOUT_MS: ${BROKER_PUBLISH_TIMEOUT_MS:-5000} # Outbox закрывает недоступность брокера: API принимает загрузку и # отвечает 202 без публикации, relay доставит задание после восстановления. secrets: - s3_api_access_key_id - s3_api_secret_access_key - broker_url # Корневая ФС только для чтения: локального файла оригинала на API нет. read_only: true tmpfs: ['/tmp:size=16m'] deploy: replicas: ${API_REPLICAS:-2} resources: limits: cpus: '${API_CPUS_PER_REPLICA:-1.5}' memory: ${API_MEMORY_PER_REPLICA:-1024m} stop_grace_period: 20s restart: unless-stopped depends_on: migrate: { condition: service_completed_successfully } postgres: { condition: service_healthy } redis: { condition: service_healthy } s3-init: { condition: service_completed_successfully } healthcheck: test: [ 'CMD', 'node', '-e', "fetch('http://127.0.0.1:'+ (process.env.APP_PORT||8080) + '/health/ready').then(r=>{if(!r.ok)process.exit(1)}).catch(()=>process.exit(1))", ] interval: 5s timeout: 3s retries: 20 # Worker — отдельный процесс без HTTP API. Он читает задания из quorum- # очереди, держит lease с heartbeat, пишет варианты и коммитит результат в # PostgreSQL. Остановка worker не блокирует приём загрузок API. worker: build: context: . dockerfile: Dockerfile args: BUILD_ID: ${BUILD_ID:-unknown} image: ${API_IMAGE:-mtusi-messenger:lab5} command: ['node', 'dist/worker.main.js'] env_file: [.env] environment: BROKER_URL_FILE: /run/secrets/broker_worker_url S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_worker_access_key_id S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_worker_secret_access_key VIPS_DISC_THRESHOLD: ${VIPS_DISC_THRESHOLD:-1g} FAULT_INJECTION_ENABLED: ${FAULT_INJECTION_ENABLED:-0} WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2} JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5} JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60} JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-30} JOB_RETRY_BASE_MS: ${JOB_RETRY_BASE_MS:-1000} JOB_RETRY_MAX_MS: ${JOB_RETRY_MAX_MS:-30000} STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400} WORKER_HEALTH_PORT: ${WORKER_HEALTH_PORT:-8081} BROKER_PUBLISH_TIMEOUT_MS: ${BROKER_PUBLISH_TIMEOUT_MS:-5000} QUEUED_RECONCILE_GRACE_SECONDS: ${QUEUED_RECONCILE_GRACE_SECONDS:-15} OUTBOX_RETENTION_SECONDS: ${OUTBOX_RETENTION_SECONDS:-86400} JOB_EVENTS_RETENTION_SECONDS: ${JOB_EVENTS_RETENTION_SECONDS:-2592000} secrets: - s3_worker_access_key_id - s3_worker_secret_access_key - broker_worker_url read_only: true tmpfs: ['/tmp:size=16m'] deploy: replicas: ${WORKER_REPLICAS:-1} resources: limits: cpus: '${WORKER_CPUS:-1.5}' memory: ${WORKER_MEMORY:-1280m} stop_grace_period: 40s restart: unless-stopped depends_on: migrate: { condition: service_completed_successfully } postgres: { condition: service_healthy } redis: { condition: service_healthy } broker: { condition: service_healthy } broker-init: { condition: service_completed_successfully } s3-init: { condition: service_completed_successfully } healthcheck: test: [ 'CMD', 'node', '-e', "fetch('http://127.0.0.1:'+ (process.env.WORKER_HEALTH_PORT||8081) + '/health').then(r=>{if(!r.ok)process.exit(1)}).catch(()=>process.exit(1))", ] interval: 5s timeout: 3s retries: 20 start_period: 20s haproxy: image: haproxy:3.2-alpine ports: - '${APP_PUBLIC_PORT:-8080}:8080' # Страница статистики — интерфейс LB, публикуется только на loopback. - '127.0.0.1:${LB_STATS_PORT:-8404}:8404' volumes: - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro deploy: resources: limits: cpus: '${LB_CPUS:-0.25}' memory: ${LB_MEMORY:-128m} depends_on: api: { condition: service_healthy } secrets: minio_root_user: { file: ./secrets/minio_root_user } minio_root_password: { file: ./secrets/minio_root_password } s3_api_access_key_id: { file: ./secrets/s3_api_access_key_id } s3_api_secret_access_key: { file: ./secrets/s3_api_secret_access_key } s3_worker_access_key_id: { file: ./secrets/s3_worker_access_key_id } s3_worker_secret_access_key: { file: ./secrets/s3_worker_secret_access_key } broker_url: { file: ./secrets/broker_url } broker_worker_url: { file: ./secrets/broker_worker_url } broker_worker_password: { file: ./secrets/broker_worker_password } rabbitmq_conf: { file: ./secrets/rabbitmq.conf } volumes: postgres-data: redis-data: s3-data: broker-data: