# Весь стенд лабораторной: LB, реплики API, PostgreSQL, Valkey, S3 (SeaweedFS) и одноразовая подготовка. # Запуск: docker compose --env-file .env up -d --wait Перед первым запуском: sh scripts/init-secrets.sh # Остановка с сохранением данных: docker compose --env-file .env down С удалением данных: добавить -v # Значения вида ${X:-8080} можно менять через окружение или .env. name: mtusi-lab5 # Секреты лежат в файлах вне Git и видны контейнеру в /run/secrets только там, где подключены. secrets: postgres_password: file: ./secrets/postgres_password database_url: file: ./secrets/database_url valkey_password: file: ./secrets/valkey_password cache_url: file: ./secrets/cache_url valkey_cache_password: file: ./secrets/valkey_cache_password history_cache_url: file: ./secrets/history_cache_url s3_access_key_id: file: ./secrets/s3_access_key_id s3_secret_access_key: file: ./secrets/s3_secret_access_key s3_admin_access_key_id: file: ./secrets/s3_admin_access_key_id s3_admin_secret_access_key: file: ./secrets/s3_admin_secret_access_key s3_janitor_access_key_id: file: ./secrets/s3_janitor_access_key_id s3_janitor_secret_access_key: file: ./secrets/s3_janitor_secret_access_key s3_config: file: ./secrets/s3_config services: broker: image: valkey/valkey:8.1.3-alpine command: ["valkey-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory-policy", "noeviction"] volumes: - brokerdata:/data restart: unless-stopped worker: build: context: . target: worker env_file: .env environment: BROKER_ADDR: broker:6379 JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5} WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-1} WORKER_PREFETCH: ${WORKER_PREFETCH:-1} GOMEMLIMIT: 512MiB FAULT_AFTER_OBJECTS: ${FAULT_AFTER_OBJECTS:-0} FAULT_BEFORE_ACK: ${FAULT_BEFORE_ACK:-0} secrets: - database_url - s3_access_key_id - s3_secret_access_key depends_on: migrate: condition: service_completed_successfully s3-init: condition: service_completed_successfully broker: condition: service_started deploy: resources: limits: cpus: "2.0" memory: 1G restart: unless-stopped # Основная БД и источник истины. Общая для всех реплик; реплицирования нет, поэтому это единая точка отказа. postgres: image: postgres:17.6-alpine deploy: resources: limits: cpus: "2.0" memory: 1G # pg_stat_statements собирает статистику запросов для диагностики. command: - postgres - -c - shared_preload_libraries=pg_stat_statements environment: POSTGRES_USER: messenger POSTGRES_DB: messenger POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password secrets: - postgres_password # Именованный том: данные переживают пересоздание контейнера и удаляются только через down -v. volumes: - pgdata:/var/lib/postgresql/data # Только 127.0.0.1: для диагностики с этого хоста. Из сети порт недоступен. ports: - "127.0.0.1:${POSTGRES_PORT:-5432}:5432" # Готовность БД: от неё зависят migrate и API. healthcheck: test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] interval: 5s timeout: 3s retries: 10 start_period: 10s # Docker поднимет контейнер после сбоя, но не после ручной остановки: тесты отказа это используют. restart: unless-stopped # Общее хранилище сессий: поэтому токен принимает любая реплика API. valkey: image: valkey/valkey:8.1.3-alpine deploy: resources: limits: cpus: "1.0" memory: 256M # Файл журнала с записью на диск раз в секунду: сессии переживают перезапуск, при аварии # возможна потеря последней секунды. noeviction: при нехватке памяти сессии не вытесняются молча. # $$ передаёт $ в контейнер: пароль читается из секрета при запуске, а не хранится в файле. command: - /bin/sh - -c - >- exec valkey-server --appendonly yes --appendfsync everysec --maxmemory 128mb --maxmemory-policy noeviction --requirepass "$$(cat /run/secrets/valkey_password)" secrets: - valkey_password volumes: - valkeydata:/data # Только 127.0.0.1: для диагностики с этого хоста. ports: - "127.0.0.1:${VALKEY_PORT:-6379}:6379" healthcheck: test: - CMD-SHELL - 'valkey-cli -a "$$(cat /run/secrets/valkey_password)" ping 2>/dev/null | grep -q PONG' interval: 5s timeout: 3s retries: 10 start_period: 5s restart: unless-stopped # Приватное хранилище байтов вложений. Порты на хост не публикуются. Находится только во внутренней # сети s3-private: остальные сервисы видят его через s3-gateway и только порт S3. # -ip.bind=127.0.0.1 важен для приватности: master, volume и filer отдают файлы БЕЗ проверки подписи # S3, поэтому они доступны только внутри этого контейнера. Из сети стенда виден только шлюз S3 на 9000. # -volume.preStopSeconds=0: иначе процесс ждёт 10 с при остановке и не успевает до SIGKILL. s3: image: chrislusf/seaweedfs:4.00 deploy: resources: limits: cpus: "1.0" memory: 1G entrypoint: ["weed"] command: - server - -dir=/data - -ip=127.0.0.1 - -ip.bind=127.0.0.1 - -master.volumeSizeLimitMB=1024 - -volume.max=${S3_MAX_VOLUMES:-64} - -volume.preStopSeconds=0 - -filer - -s3 - -s3.ip.bind=0.0.0.0 - -s3.port=9000 - -s3.config=/run/secrets/s3_config networks: s3-private: aliases: - s3-storage secrets: - s3_config volumes: - s3data:/data - ./infra/seaweedfs/master.toml:/etc/seaweedfs/master.toml:ro # healthz отвечает только шлюз; готовность записи подтверждает s3-init. healthcheck: test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:9000/healthz"] interval: 3s timeout: 3s retries: 20 start_period: 30s restart: unless-stopped # Шлюз к S3: в общей сети отвечает на имя s3 и пропускает только порт 9000. Служебные порты # SeaweedFS (в том числе gRPC шлюза 19000, открытый на всех интерфейсах) из общей сети недоступны. s3-gateway: ports: - "127.0.0.1:19090:9000" image: haproxy:3.2.9-alpine deploy: resources: limits: cpus: "0.5" memory: 64M volumes: - ./infra/s3-gateway/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro networks: default: aliases: - s3 s3-private: healthcheck: test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8405/health"] interval: 3s timeout: 3s retries: 10 start_period: 3s restart: unless-stopped # Одноразовая подготовка S3: создаёт bucket и проверяет, что анонимный доступ запрещён. # Повторный запуск ничего не меняет и не трогает объекты. Единственный сервис с ключом администратора. s3-init: build: context: . target: s3init deploy: resources: limits: cpus: "0.5" memory: 128M environment: S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000} S3_REGION: ${S3_REGION:-us-east-1} S3_BUCKET: ${S3_BUCKET:-messenger-attachments} S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key secrets: - s3_admin_access_key_id - s3_admin_secret_access_key depends_on: s3: condition: service_healthy s3-gateway: condition: service_healthy restart: "no" # Одноразовый запуск миграций: выполняется один раз до API и завершается. migrate: build: context: . target: migrate deploy: resources: limits: cpus: "0.5" memory: 128M environment: DATABASE_URL_FILE: /run/secrets/database_url secrets: - database_url # Миграции начинаются только после готовности БД. depends_on: postgres: condition: service_healthy # Завершение — штатный итог, перезапускать его не нужно. restart: "no" # Реплики API. Нет container_name и опубликованных портов: сервис масштабируется, а весь трафик # идёт через LB. Своего состояния у реплик нет. api: # target не указан: собирается последний этап Dockerfile. APP_BUILD — метка версии для rolling update. build: context: . args: APP_BUILD: ${APP_BUILD:-dev} env_file: .env deploy: # Лимиты указаны на одну реплику: при N репликах суммарно N × лимит. replicas: ${API_REPLICAS:-2} resources: limits: cpus: "1.0" # Запас под полное декодирование изображения 40 Мп и дисковый кэш временных файлов; замер в REPORT.md. memory: 1G # Больше, чем APP_SHUTDOWN_DRAIN_MS + APP_SHUTDOWN_TIMEOUT_MS (3 с + 10 с), иначе Docker пришлёт SIGKILL. stop_grace_period: 15s environment: JOB_MAX_INFLIGHT: ${JOB_MAX_INFLIGHT:-64} FAULT_AFTER_UPLOAD_COMMIT: ${FAULT_AFTER_UPLOAD_COMMIT:-0} S3_PUBLIC_ENDPOINT: ${S3_PUBLIC_ENDPOINT:-http://127.0.0.1:19090} SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} HISTORY_CACHE: ${HISTORY_CACHE:-off} HISTORY_CACHE_TTL_SECONDS: ${HISTORY_CACHE_TTL_SECONDS:-30} HISTORY_CACHE_FILL_DELAY_MS: ${HISTORY_CACHE_FILL_DELAY_MS:-0} # Подключений к БД на одну реплику: 8 реплик × 10 меньше max_connections (100). DB_MAX_CONNS: ${DB_MAX_CONNS:-10} # Выключает bitmap scan в БД. Обоснование в app/internal/config/database.go; замеров, # подтверждающих это, сейчас в evidence нет. DB_ENABLE_BITMAPSCAN: ${DB_ENABLE_BITMAPSCAN:-false} # Цепочка согласована с infra/haproxy/haproxy.cfg, расчёт в REPORT.md. # Мягкий предел для сборщика мусора и порог защиты от перегрузки: оба ниже лимита контейнера. GOMEMLIMIT: 800MiB APP_MAX_HEAP_BYTES: 805306368 APP_READ_TIMEOUT_MS: 10000 # = timeout http-request LB APP_WRITE_TIMEOUT_MS: 10000 # < timeout server LB (15 с): 504 от LB не опережает ответ API APP_IDLE_TIMEOUT_MS: 60000 # > keep-alive LB (30 с): API не закрывает соединение первым APP_SHUTDOWN_DRAIN_MS: 3000 # > вывода по readiness (2 проверки * 1 с) APP_SHUTDOWN_TIMEOUT_MS: 10000 # = APP_WRITE_TIMEOUT_MS: запрос успевает завершиться secrets: - database_url - cache_url - s3_access_key_id - s3_secret_access_key # Старт только после готовности хранилищ и успешных миграций. depends_on задаёт лишь порядок # запуска: выводить упавшую реплику из работы должен LB. depends_on: postgres: condition: service_healthy valkey: condition: service_healthy migrate: condition: service_completed_successfully s3-init: condition: service_completed_successfully restart: unless-stopped # Балансировщик: единственная публичная точка входа. Настройки в infra/haproxy/haproxy.cfg. lb: image: haproxy:3.2.9-alpine deploy: resources: limits: cpus: "1.0" memory: 256M # Конфигурация только для чтения. volumes: - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro # Без адреса: порт открыт на всех интерфейсах хоста, в том числе в локальной сети. ports: - "${API_PUBLISH_PORT:-8080}:8080" # Ждать готовности реплик не нужно: LB сам проверяет их и не шлёт трафик на неготовые. depends_on: api: condition: service_started # Проверяет сам LB, а не реплики: порт 8404 доступен только внутри контейнера. healthcheck: test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8404/health"] interval: 5s timeout: 3s retries: 5 start_period: 5s restart: unless-stopped # internal: у этой сети нет выхода наружу. В ней только SeaweedFS и его шлюз. networks: s3-private: internal: true # Именованные тома только у хранилищ. Реплики API томов не используют. volumes: brokerdata: pgdata: valkeydata: s3data: