# Стенд lab5: клиент → lb (HAProxy) → api × 2 → PostgreSQL (метаданные, jobs, outbox) + Redis (кэш сессий) # ├→ MinIO, приватный bucket: staging/ → originals/, variants/ # └→ broker (Redis Streams + AOF) → worker → MinIO + PostgreSQL # Запуск: docker compose --env-file .env up -d --build # Публичный только lb (127.0.0.1:8080). Реплики API, worker, broker и MinIO наружу не публикуются. # # Сети: # app — lb, api, worker, postgres, redis, broker; # storage — internal: только s3, s3-init, api и worker. Ни lb, ни хост туда не попадают: # API и админ-API MinIO (порт 9000) доступны лишь внутри этой сети, # веб-консоль MinIO выключена (MINIO_BROWSER=off). name: mtusi-lab5 x-api-env: &api-env DATABASE_URL: postgresql://${POSTGRES_USER}:${POSTGRES_PASSWORD}@postgres:5432/${POSTGRES_DB} CACHE_URL: redis://redis:6379/0 SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} SESSION_CACHE_TTL_SECONDS: ${SESSION_CACHE_TTL_SECONDS:-60} IDEMPOTENCY_TTL_SECONDS: ${IDEMPOTENCY_TTL_SECONDS:-86400} DB_POOL_MAX: ${DB_POOL_MAX:-10} DB_POOL_TIMEOUT: ${DB_POOL_TIMEOUT:-3} DB_STATEMENT_TIMEOUT_MS: ${DB_STATEMENT_TIMEOUT_MS:-5000} REDIS_TIMEOUT: ${REDIS_TIMEOUT:-0.5} SHUTDOWN_TIMEOUT: ${SHUTDOWN_TIMEOUT:-10} LOG_LEVEL: ${LOG_LEVEL:-info} # Миграции выполняет отдельный сервис migrate, а не каждая реплика. MIGRATE_ON_START: "false" # lab4: S3. У API — ОТДЕЛЬНЫЙ пользователь MinIO с правами только на свой bucket. # Root-credentials MinIO в API не передаются. S3_ENDPOINT: http://s3:9000 S3_REGION: ${S3_REGION:-us-east-1} S3_BUCKET: ${S3_BUCKET:-messenger-attachments} S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} S3_CONNECT_TIMEOUT: ${S3_CONNECT_TIMEOUT:-2} S3_READ_TIMEOUT: ${S3_READ_TIMEOUT:-10} MAX_UPLOAD_BYTES: ${MAX_UPLOAD_BYTES:-10485760} MAX_IMAGE_PIXELS: ${MAX_IMAGE_PIXELS:-40000000} UPLOAD_BODY_TIMEOUT_SECONDS: ${UPLOAD_BODY_TIMEOUT_SECONDS:-60} UPLOAD_SPOOL_MEMORY_BYTES: ${UPLOAD_SPOOL_MEMORY_BYTES:-262144} UPLOAD_MAX_CONCURRENT: ${UPLOAD_MAX_CONCURRENT:-16} IMAGE_CHECK_CONCURRENCY: ${IMAGE_CHECK_CONCURRENCY:-2} UPLOAD_GRACE_SECONDS: ${UPLOAD_GRACE_SECONDS:-900} JANITOR_INTERVAL_SECONDS: ${JANITOR_INTERVAL_SECONDS:-60} S3_BREAKER_SECONDS: ${S3_BREAKER_SECONDS:-5} PASSWORD_HASH_CONCURRENCY: ${PASSWORD_HASH_CONCURRENCY:-2} # lab5: брокер заданий (ОТДЕЛЬНЫЙ Redis с AOF, не кэш сессий) и параметры обработки. BROKER_URL: redis://broker:6379/0 BROKER_TIMEOUT: ${BROKER_TIMEOUT:-2} PIPELINE_VERSION: "1" WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-2} JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5} JOB_TIMEOUT_SECONDS: ${JOB_TIMEOUT_SECONDS:-60} JOB_LEASE_SECONDS: ${JOB_LEASE_SECONDS:-20} JOB_BACKOFF_BASE_SECONDS: ${JOB_BACKOFF_BASE_SECONDS:-2} JOB_BACKOFF_MAX_SECONDS: ${JOB_BACKOFF_MAX_SECONDS:-60} CLAIM_IDLE_SECONDS: ${CLAIM_IDLE_SECONDS:-90} IMAGE_MEMORY_MB: ${IMAGE_MEMORY_MB:-768} STAGING_RETENTION_SECONDS: ${STAGING_RETENTION_SECONDS:-86400} # Сеть storage — internal: если s3 остановлен, его имя не резолвится, и встроенный DNS # Docker пытается спросить внешний DNS, которого из internal-сети нет → по 5+ c на запрос. # Короткий таймаут резолвера: недоступный S3 даёт быстрый 503, а не «зависание». x-dns-opt: &dns-opt ["timeout:1", "attempts:1"] services: postgres: image: postgres:16.4-alpine environment: POSTGRES_DB: ${POSTGRES_DB} POSTGRES_USER: ${POSTGRES_USER} POSTGRES_PASSWORD: ${POSTGRES_PASSWORD} volumes: - pgdata:/var/lib/postgresql/data networks: [app] healthcheck: test: ["CMD-SHELL", "pg_isready -U $${POSTGRES_USER} -d $${POSTGRES_DB}"] interval: 5s timeout: 3s retries: 20 deploy: resources: limits: {cpus: "1.0", memory: 512M} restart: unless-stopped redis: image: redis:7.4.1-alpine # Только кэш сессий: источник истины — PostgreSQL, persistence не нужен. command: ["redis-server", "--save", "", "--appendonly", "no", "--maxmemory", "64mb", "--maxmemory-policy", "allkeys-lru"] networks: [app] healthcheck: test: ["CMD", "redis-cli", "ping"] interval: 5s timeout: 3s retries: 20 deploy: resources: limits: {cpus: "0.25", memory: 96M} restart: unless-stopped # lab5: брокер заданий — Redis Streams с persistence (тот же образ, другой экземпляр). # --appendonly yes --appendfsync always: ответ на XADD уходит после fsync AOF # (это наш «publisher confirm»: принятое брокером сообщение переживёт рестарт); # --save "": RDB-снимки не нужны, источник — AOF; # --maxmemory-policy noeviction: сообщения никогда не вытесняются из памяти. broker: image: redis:7.4.1-alpine command: ["redis-server", "--appendonly", "yes", "--appendfsync", "always", "--save", "", "--maxmemory", "200mb", "--maxmemory-policy", "noeviction"] volumes: - brokerdata:/data networks: [app] healthcheck: test: ["CMD", "redis-cli", "ping"] interval: 5s timeout: 3s retries: 20 deploy: resources: limits: {cpus: "0.5", memory: 256M} restart: unless-stopped # lab4: S3-совместимое хранилище. Версия закреплена; данные — в volume s3data. # Официальные образы MinIO больше не скачиваются анонимно (Docker Hub — удалены, # quay.io — 401). Используем сборку MinIO от сообщества Pigsty (тот же код MinIO, # тот же CLI/env), версия закреплена. s3: image: pgsty/minio:RELEASE.2026-08-04T00-00-00Z command: ["server", "/data"] environment: MINIO_ROOT_USER: ${MINIO_ROOT_USER} MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD} MINIO_BROWSER: "off" # веб-консоль выключена совсем volumes: - s3data:/data networks: [storage] # портов наружу нет healthcheck: test: ["CMD", "mc", "ready", "local"] interval: 5s timeout: 5s retries: 20 deploy: resources: limits: {cpus: "1.0", memory: 512M} restart: unless-stopped # Однократный идемпотентный bootstrap: bucket (private), политика, пользователь API. # Повторный запуск ничего не ломает (mb --ignore-existing, policy/user перезаписываются). s3-init: image: pgsty/mc:RELEASE.2026-09-16T00-00-00Z # клиент MinIO (mc) той же сборки entrypoint: ["/bin/sh", "/infra/bootstrap.sh"] environment: MINIO_ROOT_USER: ${MINIO_ROOT_USER} MINIO_ROOT_PASSWORD: ${MINIO_ROOT_PASSWORD} S3_BUCKET: ${S3_BUCKET:-messenger-attachments} S3_ACCESS_KEY_ID: ${S3_ACCESS_KEY_ID} S3_SECRET_ACCESS_KEY: ${S3_SECRET_ACCESS_KEY} volumes: - ./infra/minio:/infra:ro networks: [storage] depends_on: s3: condition: service_healthy deploy: resources: limits: {cpus: "0.25", memory: 128M} restart: "no" # Однократные миграции до старта реплик (advisory lock защищает и от повтора). migrate: build: . image: mtusi-messenger:lab5 command: ["python", "-m", "app.migrate"] environment: *api-env networks: [app] depends_on: postgres: condition: service_healthy deploy: resources: limits: {cpus: "0.5", memory: 256M} restart: "no" api: build: . image: mtusi-messenger:lab5 environment: *api-env dns_opt: *dns-opt # Портов наружу нет: доступ только через lb. container_name не задан — сервис масштабируется. expose: ["8080"] networks: [app, storage] deploy: replicas: ${API_REPLICAS:-2} resources: limits: {cpus: "0.5", memory: 256M} healthcheck: test: ["CMD", "python", "-c", "import urllib.request,sys; sys.exit(0 if urllib.request.urlopen('http://127.0.0.1:8080/health/ready',timeout=2).status==200 else 1)"] interval: 5s timeout: 3s retries: 3 start_period: 5s # docker stop → SIGTERM: uvicorn перестаёт принимать соединения и дожидается текущих запросов. stop_grace_period: 15s depends_on: migrate: condition: service_completed_successfully s3-init: condition: service_completed_successfully postgres: condition: service_healthy redis: condition: service_started broker: condition: service_healthy restart: unless-stopped # lab5: worker — отдельный процесс, тот же образ. Портов нет, в lb не входит. # Ограниченная конкуренция: WORKER_CONCURRENCY задач на процесс, каждая — в дочернем # процессе с лимитом памяти (IMAGE_MEMORY_MB) и времени (JOB_TIMEOUT_SECONDS). # docker stop → SIGTERM: новых задач не берёт, текущую дорабатывает (до таймаута). worker: image: mtusi-messenger:lab5 pull_policy: never # образ собирает сервис api command: ["python", "-m", "app.worker"] environment: *api-env dns_opt: *dns-opt networks: [app, storage] deploy: replicas: ${WORKER_REPLICAS:-1} resources: limits: {cpus: "1.0", memory: 1G} healthcheck: # heartbeat-файл обновляет поток maintenance раз в секунду test: ["CMD", "python", "-c", "import os,sys,time; sys.exit(0 if time.time()-os.path.getmtime('/tmp/worker-heartbeat')<30 else 1)"] interval: 10s timeout: 3s retries: 3 start_period: 10s stop_grace_period: 75s depends_on: migrate: condition: service_completed_successfully s3-init: condition: service_completed_successfully postgres: condition: service_healthy broker: condition: service_healthy api: condition: service_started # образ mtusi-messenger:lab5 собирается сервисом api restart: unless-stopped lb: image: haproxy:3.0.5-alpine volumes: - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro ports: - "127.0.0.1:8080:8080" - "127.0.0.1:8081:8081" - "127.0.0.1:8082:8082" networks: [app] healthcheck: test: ["CMD", "wget", "-q", "-O", "/dev/null", "http://127.0.0.1:8404/healthz"] interval: 5s timeout: 3s retries: 3 deploy: resources: limits: {cpus: "0.5", memory: 128M} depends_on: api: condition: service_started restart: unless-stopped # API с коротким сроком сессии — только для теста истечения (профиль ttl). # Доступен тоже только через lb: http://localhost:8081 api-ttl: image: mtusi-messenger:lab5 pull_policy: never # образ собирается локально сервисом api environment: <<: *api-env SESSION_TTL_SECONDS: "2" JANITOR_ENABLED: "false" dns_opt: *dns-opt expose: ["8080"] networks: [app, storage] deploy: resources: limits: {cpus: "0.25", memory: 192M} depends_on: postgres: condition: service_healthy profiles: ["ttl"] # Реплика с внедрением отказов (профиль fault) — только для student-tests/orphans.py. # Заголовок X-Fault-Inject работает ТОЛЬКО здесь (FAULT_INJECTION=true). # Доступна только через lb: http://localhost:8082 api-fault: image: mtusi-messenger:lab5 pull_policy: never environment: <<: *api-env FAULT_INJECTION: "true" JANITOR_ENABLED: "false" dns_opt: *dns-opt expose: ["8080"] networks: [app, storage] deploy: resources: limits: {cpus: "0.5", memory: 256M} depends_on: postgres: condition: service_healthy restart: unless-stopped # после crash-after-s3-put контейнер поднимется сам profiles: ["fault"] # lab5: worker с внедрением отказов (профиль fault) — только для student-tests/jobs.py. # Отказ включает одноразовый флаг в брокере: redis-cli SET fault:<точка> 1. # restart: unless-stopped — после os._exit(1) контейнер поднимается с тем же hostname, # поэтому worker находит своё неподтверждённое сообщение в PEL. worker-fault: image: mtusi-messenger:lab5 pull_policy: never command: ["python", "-m", "app.worker"] environment: <<: *api-env FAULT_INJECTION: "true" JOB_BACKOFF_BASE_SECONDS: "1" # короче паузы в тесте retry dns_opt: *dns-opt networks: [app, storage] deploy: resources: limits: {cpus: "1.0", memory: 1G} stop_grace_period: 75s depends_on: broker: condition: service_healthy restart: unless-stopped profiles: ["fault"] networks: app: {} storage: internal: true # без выхода наружу и без публикации портов volumes: pgdata: s3data: brokerdata: