# Весь стенд лабораторной: LB, реплики API, PostgreSQL, Valkey, S3 (SeaweedFS) и одноразовая подготовка. # Запуск: docker compose --env-file .env up -d --wait Перед первым запуском: sh scripts/init-secrets.sh # Остановка с сохранением данных: docker compose --env-file .env down С удалением данных: добавить -v # Значения вида ${X:-8080} можно менять через окружение или .env. name: mtusi-lab6 # Секреты лежат в файлах вне Git и видны контейнеру в /run/secrets только там, где подключены. secrets: broker_url: file: ./secrets/broker_url broker_password: file: ./secrets/broker_password postgres_password: file: ./secrets/postgres_password database_url: file: ./secrets/database_url valkey_password: file: ./secrets/valkey_password cache_url: file: ./secrets/cache_url valkey_cache_password: file: ./secrets/valkey_cache_password history_cache_url: file: ./secrets/history_cache_url s3_access_key_id: file: ./secrets/s3_access_key_id s3_secret_access_key: file: ./secrets/s3_secret_access_key s3_admin_access_key_id: file: ./secrets/s3_admin_access_key_id s3_admin_secret_access_key: file: ./secrets/s3_admin_secret_access_key s3_janitor_access_key_id: file: ./secrets/s3_janitor_access_key_id s3_janitor_secret_access_key: file: ./secrets/s3_janitor_secret_access_key s3_config: file: ./secrets/s3_config services: otel-collector: image: otel/opentelemetry-collector-contrib:0.137.0 command: ['--config=/etc/otelcol/config.yaml'] volumes: ['./infra/otel/collector.yaml:/etc/otelcol/config.yaml:ro'] deploy: resources: limits: {memory: 256M, cpus: '0.5'} restart: unless-stopped prometheus: image: prom/prometheus:v3.5.0 command: ['--config.file=/etc/prometheus/prometheus.yaml', '--storage.tsdb.retention.time=3d'] volumes: ['./infra/otel/prometheus.yaml:/etc/prometheus/prometheus.yaml:ro', 'promdata:/prometheus'] ports: ['127.0.0.1:19091:9090'] restart: unless-stopped loki: image: grafana/loki:3.5.5 command: ['-config.file=/etc/loki/config.yaml'] volumes: ['./infra/otel/loki.yaml:/etc/loki/config.yaml:ro', 'lokidata:/loki'] ports: ['127.0.0.1:3100:3100'] restart: unless-stopped tempo: image: grafana/tempo:2.8.2 user: '0:0' command: ['-config.file=/etc/tempo/config.yaml'] volumes: ['./infra/otel/tempo.yaml:/etc/tempo/config.yaml:ro', 'tempodata:/var/tempo'] ports: ['127.0.0.1:3200:3200'] restart: unless-stopped grafana: image: grafana/grafana:12.2.0 environment: GF_AUTH_ANONYMOUS_ENABLED: 'true' GF_AUTH_ANONYMOUS_ORG_ROLE: Viewer GF_AUTH_DISABLE_LOGIN_FORM: 'true' GF_ANALYTICS_REPORTING_ENABLED: 'false' volumes: - grafanadata:/var/lib/grafana - ./infra/grafana/provisioning:/etc/grafana/provisioning:ro - ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro ports: ['127.0.0.1:3000:3000'] restart: unless-stopped broker: image: valkey/valkey:8.1.3-alpine command: ["/bin/sh", "-c", 'exec valkey-server --appendonly yes --appendfsync always --maxmemory-policy noeviction --requirepass "$$(cat /run/secrets/broker_password)"'] secrets: [broker_password] volumes: [brokerdata:/data] healthcheck: test: ["CMD-SHELL", 'valkey-cli -a "$$(cat /run/secrets/broker_password)" ping 2>/dev/null | grep -q PONG'] interval: 3s timeout: 2s retries: 20 restart: unless-stopped dispatcher: build: ./worker command: ["python", "-u", "main.py", "dispatch"] env_file: .env environment: OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false} OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1} secrets: [database_url, broker_url, s3_access_key_id, s3_secret_access_key] depends_on: migrate: {condition: service_completed_successfully} broker: {condition: service_healthy} restart: unless-stopped worker: build: ./worker env_file: .env environment: OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false} OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1} secrets: [database_url, broker_url, s3_access_key_id, s3_secret_access_key] depends_on: migrate: {condition: service_completed_successfully} broker: {condition: service_healthy} s3-init: {condition: service_completed_successfully} deploy: resources: limits: {cpus: "1.0", memory: 1G} stop_grace_period: 65s restart: unless-stopped # Основная БД и источник истины. Общая для всех реплик; реплицирования нет, поэтому это единая точка отказа. postgres: image: postgres:17.6-alpine deploy: resources: limits: cpus: "2.0" memory: 1G # pg_stat_statements собирает статистику запросов для диагностики. command: - postgres - -c - shared_preload_libraries=pg_stat_statements environment: POSTGRES_USER: messenger POSTGRES_DB: messenger POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password secrets: - postgres_password # Именованный том: данные переживают пересоздание контейнера и удаляются только через down -v. volumes: - pgdata:/var/lib/postgresql/data # Только 127.0.0.1: для диагностики с этого хоста. Из сети порт недоступен. ports: - "127.0.0.1:${POSTGRES_PORT:-15435}:5432" # Готовность БД: от неё зависят migrate и API. healthcheck: test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"] interval: 5s timeout: 3s retries: 10 start_period: 10s # Docker поднимет контейнер после сбоя, но не после ручной остановки: тесты отказа это используют. restart: unless-stopped # Общее хранилище сессий: поэтому токен принимает любая реплика API. valkey: image: valkey/valkey:8.1.3-alpine deploy: resources: limits: cpus: "1.0" memory: 256M # Файл журнала с записью на диск раз в секунду: сессии переживают перезапуск, при аварии # возможна потеря последней секунды. noeviction: при нехватке памяти сессии не вытесняются молча. # $$ передаёт $ в контейнер: пароль читается из секрета при запуске, а не хранится в файле. command: - /bin/sh - -c - >- exec valkey-server --appendonly yes --appendfsync everysec --maxmemory 128mb --maxmemory-policy noeviction --requirepass "$$(cat /run/secrets/valkey_password)" secrets: - valkey_password volumes: - valkeydata:/data # Только 127.0.0.1: для диагностики с этого хоста. ports: - "127.0.0.1:${VALKEY_PORT:-16385}:6379" healthcheck: test: - CMD-SHELL - 'valkey-cli -a "$$(cat /run/secrets/valkey_password)" ping 2>/dev/null | grep -q PONG' interval: 5s timeout: 3s retries: 10 start_period: 5s restart: unless-stopped # Кэш истории выключен по умолчанию (HISTORY_CACHE=off): его долг инвалидации хранится # в памяти реплики, поэтому при нескольких API он не гарантирует чтение после записи. valkey-cache: # Профили: сервис запускается только по явному запросу. Тома нет: кэш не требует сохранности, # при нехватке памяти вытесняются давние записи (allkeys-lru). profiles: ["cache"] image: valkey/valkey:8.1.3-alpine deploy: resources: limits: cpus: "0.5" memory: 128M command: - /bin/sh - -c - >- exec valkey-server --save "" --appendonly no --maxmemory 64mb --maxmemory-policy allkeys-lru --requirepass "$$(cat /run/secrets/valkey_cache_password)" secrets: - valkey_cache_password ports: - "127.0.0.1:${VALKEY_CACHE_PORT:-6380}:6379" healthcheck: test: - CMD-SHELL - 'valkey-cli -a "$$(cat /run/secrets/valkey_cache_password)" ping 2>/dev/null | grep -q PONG' interval: 5s timeout: 3s retries: 10 start_period: 5s restart: unless-stopped # Приватное хранилище байтов вложений. Порты на хост не публикуются. Находится только во внутренней # сети s3-private: остальные сервисы видят его через s3-gateway и только порт S3. # -ip.bind=127.0.0.1 важен для приватности: master, volume и filer отдают файлы БЕЗ проверки подписи # S3, поэтому они доступны только внутри этого контейнера. Из сети стенда виден только шлюз S3 на 9000. # -volume.preStopSeconds=0: иначе процесс ждёт 10 с при остановке и не успевает до SIGKILL. s3: image: chrislusf/seaweedfs:4.00 deploy: resources: limits: cpus: "1.0" memory: 1G entrypoint: ["weed"] command: - server - -dir=/data - -ip=127.0.0.1 - -ip.bind=127.0.0.1 - -master.volumeSizeLimitMB=1024 - -volume.max=${S3_MAX_VOLUMES:-64} - -volume.preStopSeconds=0 - -filer - -s3 - -s3.ip.bind=0.0.0.0 - -s3.port=9000 - -s3.config=/run/secrets/s3_config networks: s3-private: aliases: - s3-storage secrets: - s3_config volumes: - s3data:/data - ./infra/seaweedfs/master.toml:/etc/seaweedfs/master.toml:ro # healthz отвечает только шлюз; готовность записи подтверждает s3-init. healthcheck: test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:9000/healthz"] interval: 3s timeout: 3s retries: 20 start_period: 30s restart: unless-stopped # Шлюз к S3: в общей сети отвечает на имя s3 и пропускает только порт 9000. Служебные порты # SeaweedFS (в том числе gRPC шлюза 19000, открытый на всех интерфейсах) из общей сети недоступны. s3-gateway: ports: - "127.0.0.1:19096:9000" image: haproxy:3.2.9-alpine deploy: resources: limits: cpus: "0.5" memory: 64M volumes: - ./infra/s3-gateway/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro networks: default: aliases: - s3 s3-private: healthcheck: test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8405/health"] interval: 3s timeout: 3s retries: 10 start_period: 3s restart: unless-stopped # Одноразовая подготовка S3: создаёт bucket и проверяет, что анонимный доступ запрещён. # Повторный запуск ничего не меняет и не трогает объекты. Единственный сервис с ключом администратора. s3-init: build: context: . target: s3init deploy: resources: limits: cpus: "0.5" memory: 128M environment: S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000} S3_REGION: ${S3_REGION:-us-east-1} S3_BUCKET: ${S3_BUCKET:-messenger-attachments} S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key secrets: - s3_admin_access_key_id - s3_admin_secret_access_key depends_on: s3: condition: service_healthy s3-gateway: condition: service_healthy restart: "no" # Очиститель: удаляет объекты без строки в attachments старше grace period. Отдельный сервис со # своим ключом: только у него есть право на листинг, и у него нет права читать содержимое файлов. janitor: profiles: ["legacy-cleanup"] build: context: . target: janitor deploy: resources: limits: cpus: "0.5" memory: 128M environment: S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000} S3_REGION: ${S3_REGION:-us-east-1} S3_BUCKET: ${S3_BUCKET:-messenger-attachments} S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_janitor_access_key_id S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_janitor_secret_access_key DATABASE_URL_FILE: /run/secrets/database_url DB_MAX_CONNS: 2 JANITOR_GRACE_SECONDS: ${JANITOR_GRACE_SECONDS:-3600} JANITOR_INTERVAL_SECONDS: ${JANITOR_INTERVAL_SECONDS:-600} JANITOR_MAX_DELETES: ${JANITOR_MAX_DELETES:-1000} JANITOR_DRY_RUN: ${JANITOR_DRY_RUN:-false} secrets: - database_url - s3_janitor_access_key_id - s3_janitor_secret_access_key depends_on: postgres: condition: service_healthy migrate: condition: service_completed_successfully s3-init: condition: service_completed_successfully restart: unless-stopped # Проверка прав S3 мимо API, запускается вручную: docker compose --env-file .env run --rm s3check s3check: profiles: ["tools"] build: context: . target: s3check environment: S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000} S3_REGION: ${S3_REGION:-us-east-1} S3_BUCKET: ${S3_BUCKET:-messenger-attachments} secrets: - s3_access_key_id - s3_secret_access_key - s3_janitor_access_key_id - s3_janitor_secret_access_key - s3_admin_access_key_id - s3_admin_secret_access_key restart: "no" # Одноразовый запуск миграций: выполняется один раз до API и завершается. migrate: build: context: . target: migrate deploy: resources: limits: cpus: "0.5" memory: 128M environment: DATABASE_URL_FILE: /run/secrets/database_url secrets: - database_url # Миграции начинаются только после готовности БД. depends_on: postgres: condition: service_healthy # Завершение — штатный итог, перезапускать его не нужно. restart: "no" # Реплики API. Нет container_name и опубликованных портов: сервис масштабируется, а весь трафик # идёт через LB. Своего состояния у реплик нет. api: # target не указан: собирается последний этап Dockerfile. APP_BUILD — метка версии для rolling update. build: context: . args: APP_BUILD: ${APP_BUILD:-dev} env_file: .env deploy: # Лимиты указаны на одну реплику: при N репликах суммарно N × лимит. replicas: ${API_REPLICAS:-2} resources: limits: cpus: "1.0" # Запас под полное декодирование изображения 40 Мп и дисковый кэш временных файлов; замер в REPORT.md. memory: 1G # Больше, чем APP_SHUTDOWN_DRAIN_MS + APP_SHUTDOWN_TIMEOUT_MS (3 с + 10 с), иначе Docker пришлёт SIGKILL. stop_grace_period: 15s environment: OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false} OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1} S3_PUBLIC_ENDPOINT: ${S3_PUBLIC_ENDPOINT:-http://127.0.0.1:19096} SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600} HISTORY_CACHE: ${HISTORY_CACHE:-off} HISTORY_CACHE_TTL_SECONDS: ${HISTORY_CACHE_TTL_SECONDS:-30} HISTORY_CACHE_FILL_DELAY_MS: ${HISTORY_CACHE_FILL_DELAY_MS:-0} # Подключений к БД на одну реплику: 8 реплик × 10 меньше max_connections (100). DB_MAX_CONNS: ${DB_MAX_CONNS:-10} # Выключает bitmap scan в БД. Обоснование в app/internal/config/database.go; замеров, # подтверждающих это, сейчас в evidence нет. DB_ENABLE_BITMAPSCAN: ${DB_ENABLE_BITMAPSCAN:-false} # Цепочка согласована с infra/haproxy/haproxy.cfg, расчёт в REPORT.md. # Мягкий предел для сборщика мусора и порог защиты от перегрузки: оба ниже лимита контейнера. GOMEMLIMIT: 800MiB APP_MAX_HEAP_BYTES: 805306368 APP_READ_TIMEOUT_MS: 10000 # = timeout http-request LB APP_WRITE_TIMEOUT_MS: 10000 # < timeout server LB (15 с): 504 от LB не опережает ответ API APP_IDLE_TIMEOUT_MS: 60000 # > keep-alive LB (30 с): API не закрывает соединение первым APP_SHUTDOWN_DRAIN_MS: 3000 # > вывода по readiness (2 проверки * 1 с) APP_SHUTDOWN_TIMEOUT_MS: 10000 # = APP_WRITE_TIMEOUT_MS: запрос успевает завершиться secrets: - database_url - cache_url - s3_access_key_id - s3_secret_access_key # Старт только после готовности хранилищ и успешных миграций. depends_on задаёт лишь порядок # запуска: выводить упавшую реплику из работы должен LB. depends_on: postgres: condition: service_healthy valkey: condition: service_healthy migrate: condition: service_completed_successfully s3-init: condition: service_completed_successfully restart: unless-stopped # Балансировщик: единственная публичная точка входа. Настройки в infra/haproxy/haproxy.cfg. lb: image: haproxy:3.2.9-alpine deploy: resources: limits: cpus: "1.0" memory: 256M # Конфигурация только для чтения. volumes: - ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro # Без адреса: порт открыт на всех интерфейсах хоста, в том числе в локальной сети. ports: - "127.0.0.1:${API_PUBLISH_PORT:-18086}:8080" # Ждать готовности реплик не нужно: LB сам проверяет их и не шлёт трафик на неготовые. depends_on: api: condition: service_started # Проверяет сам LB, а не реплики: порт 8404 доступен только внутри контейнера. healthcheck: test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8404/health"] interval: 5s timeout: 3s retries: 5 start_period: 5s restart: unless-stopped # Генератор нагрузки в той же сети: без накладных расходов проброса портов Docker Desktop. loadgen: profiles: ["bench"] build: context: . target: loadgen deploy: resources: limits: cpus: "4.0" memory: 1G # Каталог для результатов замеров. volumes: - ./evidence:/evidence restart: "no" # internal: у этой сети нет выхода наружу. В ней только SeaweedFS и его шлюз. networks: s3-private: internal: true # Именованные тома только у хранилищ. Реплики API томов не используют. volumes: brokerdata: pgdata: valkeydata: s3data: promdata: lokidata: tempodata: grafanadata: