forked from mtusi2026/mtusi2026lab5
364 lines
15 KiB
YAML
364 lines
15 KiB
YAML
# Весь стенд лабораторной: LB, реплики API, PostgreSQL, Valkey, S3 (SeaweedFS) и одноразовая подготовка.
|
||
# Запуск: docker compose --env-file .env up -d --wait Перед первым запуском: sh scripts/init-secrets.sh
|
||
# Остановка с сохранением данных: docker compose --env-file .env down С удалением данных: добавить -v
|
||
# Значения вида ${X:-8080} можно менять через окружение или .env.
|
||
|
||
name: mtusi-lab5
|
||
|
||
# Секреты лежат в файлах вне Git и видны контейнеру в /run/secrets только там, где подключены.
|
||
secrets:
|
||
postgres_password:
|
||
file: ./secrets/postgres_password
|
||
database_url:
|
||
file: ./secrets/database_url
|
||
valkey_password:
|
||
file: ./secrets/valkey_password
|
||
cache_url:
|
||
file: ./secrets/cache_url
|
||
valkey_cache_password:
|
||
file: ./secrets/valkey_cache_password
|
||
history_cache_url:
|
||
file: ./secrets/history_cache_url
|
||
s3_access_key_id:
|
||
file: ./secrets/s3_access_key_id
|
||
s3_secret_access_key:
|
||
file: ./secrets/s3_secret_access_key
|
||
s3_admin_access_key_id:
|
||
file: ./secrets/s3_admin_access_key_id
|
||
s3_admin_secret_access_key:
|
||
file: ./secrets/s3_admin_secret_access_key
|
||
s3_janitor_access_key_id:
|
||
file: ./secrets/s3_janitor_access_key_id
|
||
s3_janitor_secret_access_key:
|
||
file: ./secrets/s3_janitor_secret_access_key
|
||
s3_config:
|
||
file: ./secrets/s3_config
|
||
|
||
services:
|
||
broker:
|
||
image: valkey/valkey:8.1.3-alpine
|
||
command: ["valkey-server", "--appendonly", "yes", "--appendfsync", "always", "--maxmemory-policy", "noeviction"]
|
||
volumes:
|
||
- brokerdata:/data
|
||
restart: unless-stopped
|
||
|
||
worker:
|
||
build:
|
||
context: .
|
||
target: worker
|
||
env_file: .env
|
||
environment:
|
||
BROKER_ADDR: broker:6379
|
||
JOB_MAX_ATTEMPTS: ${JOB_MAX_ATTEMPTS:-5}
|
||
WORKER_CONCURRENCY: ${WORKER_CONCURRENCY:-1}
|
||
WORKER_PREFETCH: ${WORKER_PREFETCH:-1}
|
||
GOMEMLIMIT: 512MiB
|
||
FAULT_AFTER_OBJECTS: ${FAULT_AFTER_OBJECTS:-0}
|
||
FAULT_BEFORE_ACK: ${FAULT_BEFORE_ACK:-0}
|
||
secrets:
|
||
- database_url
|
||
- s3_access_key_id
|
||
- s3_secret_access_key
|
||
depends_on:
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-init:
|
||
condition: service_completed_successfully
|
||
broker:
|
||
condition: service_started
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
restart: unless-stopped
|
||
|
||
# Основная БД и источник истины. Общая для всех реплик; реплицирования нет, поэтому это единая точка отказа.
|
||
postgres:
|
||
image: postgres:17.6-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
# pg_stat_statements собирает статистику запросов для диагностики.
|
||
command:
|
||
- postgres
|
||
- -c
|
||
- shared_preload_libraries=pg_stat_statements
|
||
environment:
|
||
POSTGRES_USER: messenger
|
||
POSTGRES_DB: messenger
|
||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||
secrets:
|
||
- postgres_password
|
||
# Именованный том: данные переживают пересоздание контейнера и удаляются только через down -v.
|
||
volumes:
|
||
- pgdata:/var/lib/postgresql/data
|
||
# Только 127.0.0.1: для диагностики с этого хоста. Из сети порт недоступен.
|
||
ports:
|
||
- "127.0.0.1:${POSTGRES_PORT:-5432}:5432"
|
||
# Готовность БД: от неё зависят migrate и API.
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
# Docker поднимет контейнер после сбоя, но не после ручной остановки: тесты отказа это используют.
|
||
restart: unless-stopped
|
||
|
||
# Общее хранилище сессий: поэтому токен принимает любая реплика API.
|
||
valkey:
|
||
image: valkey/valkey:8.1.3-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
# Файл журнала с записью на диск раз в секунду: сессии переживают перезапуск, при аварии
|
||
# возможна потеря последней секунды. noeviction: при нехватке памяти сессии не вытесняются молча.
|
||
# $$ передаёт $ в контейнер: пароль читается из секрета при запуске, а не хранится в файле.
|
||
command:
|
||
- /bin/sh
|
||
- -c
|
||
- >-
|
||
exec valkey-server
|
||
--appendonly yes
|
||
--appendfsync everysec
|
||
--maxmemory 128mb
|
||
--maxmemory-policy noeviction
|
||
--requirepass "$$(cat /run/secrets/valkey_password)"
|
||
secrets:
|
||
- valkey_password
|
||
volumes:
|
||
- valkeydata:/data
|
||
# Только 127.0.0.1: для диагностики с этого хоста.
|
||
ports:
|
||
- "127.0.0.1:${VALKEY_PORT:-6379}:6379"
|
||
healthcheck:
|
||
test:
|
||
- CMD-SHELL
|
||
- 'valkey-cli -a "$$(cat /run/secrets/valkey_password)" ping 2>/dev/null | grep -q PONG'
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 5s
|
||
restart: unless-stopped
|
||
|
||
# Приватное хранилище байтов вложений. Порты на хост не публикуются. Находится только во внутренней
|
||
# сети s3-private: остальные сервисы видят его через s3-gateway и только порт S3.
|
||
# -ip.bind=127.0.0.1 важен для приватности: master, volume и filer отдают файлы БЕЗ проверки подписи
|
||
# S3, поэтому они доступны только внутри этого контейнера. Из сети стенда виден только шлюз S3 на 9000.
|
||
# -volume.preStopSeconds=0: иначе процесс ждёт 10 с при остановке и не успевает до SIGKILL.
|
||
s3:
|
||
image: chrislusf/seaweedfs:4.00
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 1G
|
||
entrypoint: ["weed"]
|
||
command:
|
||
- server
|
||
- -dir=/data
|
||
- -ip=127.0.0.1
|
||
- -ip.bind=127.0.0.1
|
||
- -master.volumeSizeLimitMB=1024
|
||
- -volume.max=${S3_MAX_VOLUMES:-64}
|
||
- -volume.preStopSeconds=0
|
||
- -filer
|
||
- -s3
|
||
- -s3.ip.bind=0.0.0.0
|
||
- -s3.port=9000
|
||
- -s3.config=/run/secrets/s3_config
|
||
networks:
|
||
s3-private:
|
||
aliases:
|
||
- s3-storage
|
||
secrets:
|
||
- s3_config
|
||
volumes:
|
||
- s3data:/data
|
||
- ./infra/seaweedfs/master.toml:/etc/seaweedfs/master.toml:ro
|
||
# healthz отвечает только шлюз; готовность записи подтверждает s3-init.
|
||
healthcheck:
|
||
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:9000/healthz"]
|
||
interval: 3s
|
||
timeout: 3s
|
||
retries: 20
|
||
start_period: 30s
|
||
restart: unless-stopped
|
||
|
||
# Шлюз к S3: в общей сети отвечает на имя s3 и пропускает только порт 9000. Служебные порты
|
||
# SeaweedFS (в том числе gRPC шлюза 19000, открытый на всех интерфейсах) из общей сети недоступны.
|
||
s3-gateway:
|
||
ports:
|
||
- "127.0.0.1:19090:9000"
|
||
image: haproxy:3.2.9-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 64M
|
||
volumes:
|
||
- ./infra/s3-gateway/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||
networks:
|
||
default:
|
||
aliases:
|
||
- s3
|
||
s3-private:
|
||
healthcheck:
|
||
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8405/health"]
|
||
interval: 3s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 3s
|
||
restart: unless-stopped
|
||
|
||
# Одноразовая подготовка S3: создаёт bucket и проверяет, что анонимный доступ запрещён.
|
||
# Повторный запуск ничего не меняет и не трогает объекты. Единственный сервис с ключом администратора.
|
||
s3-init:
|
||
build:
|
||
context: .
|
||
target: s3init
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
environment:
|
||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||
S3_REGION: ${S3_REGION:-us-east-1}
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
|
||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
|
||
secrets:
|
||
- s3_admin_access_key_id
|
||
- s3_admin_secret_access_key
|
||
depends_on:
|
||
s3:
|
||
condition: service_healthy
|
||
s3-gateway:
|
||
condition: service_healthy
|
||
restart: "no"
|
||
|
||
# Одноразовый запуск миграций: выполняется один раз до API и завершается.
|
||
migrate:
|
||
build:
|
||
context: .
|
||
target: migrate
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
environment:
|
||
DATABASE_URL_FILE: /run/secrets/database_url
|
||
secrets:
|
||
- database_url
|
||
# Миграции начинаются только после готовности БД.
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# Завершение — штатный итог, перезапускать его не нужно.
|
||
restart: "no"
|
||
|
||
# Реплики API. Нет container_name и опубликованных портов: сервис масштабируется, а весь трафик
|
||
# идёт через LB. Своего состояния у реплик нет.
|
||
api:
|
||
# target не указан: собирается последний этап Dockerfile. APP_BUILD — метка версии для rolling update.
|
||
build:
|
||
context: .
|
||
args:
|
||
APP_BUILD: ${APP_BUILD:-dev}
|
||
env_file: .env
|
||
deploy:
|
||
# Лимиты указаны на одну реплику: при N репликах суммарно N × лимит.
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
# Запас под полное декодирование изображения 40 Мп и дисковый кэш временных файлов; замер в REPORT.md.
|
||
memory: 1G
|
||
# Больше, чем APP_SHUTDOWN_DRAIN_MS + APP_SHUTDOWN_TIMEOUT_MS (3 с + 10 с), иначе Docker пришлёт SIGKILL.
|
||
stop_grace_period: 15s
|
||
environment:
|
||
JOB_MAX_INFLIGHT: ${JOB_MAX_INFLIGHT:-64}
|
||
FAULT_AFTER_UPLOAD_COMMIT: ${FAULT_AFTER_UPLOAD_COMMIT:-0}
|
||
S3_PUBLIC_ENDPOINT: ${S3_PUBLIC_ENDPOINT:-http://127.0.0.1:19090}
|
||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||
HISTORY_CACHE: ${HISTORY_CACHE:-off}
|
||
HISTORY_CACHE_TTL_SECONDS: ${HISTORY_CACHE_TTL_SECONDS:-30}
|
||
HISTORY_CACHE_FILL_DELAY_MS: ${HISTORY_CACHE_FILL_DELAY_MS:-0}
|
||
# Подключений к БД на одну реплику: 8 реплик × 10 меньше max_connections (100).
|
||
DB_MAX_CONNS: ${DB_MAX_CONNS:-10}
|
||
# Выключает bitmap scan в БД. Обоснование в app/internal/config/database.go; замеров,
|
||
# подтверждающих это, сейчас в evidence нет.
|
||
DB_ENABLE_BITMAPSCAN: ${DB_ENABLE_BITMAPSCAN:-false}
|
||
# Цепочка согласована с infra/haproxy/haproxy.cfg, расчёт в REPORT.md.
|
||
# Мягкий предел для сборщика мусора и порог защиты от перегрузки: оба ниже лимита контейнера.
|
||
GOMEMLIMIT: 800MiB
|
||
APP_MAX_HEAP_BYTES: 805306368
|
||
APP_READ_TIMEOUT_MS: 10000 # = timeout http-request LB
|
||
APP_WRITE_TIMEOUT_MS: 10000 # < timeout server LB (15 с): 504 от LB не опережает ответ API
|
||
APP_IDLE_TIMEOUT_MS: 60000 # > keep-alive LB (30 с): API не закрывает соединение первым
|
||
APP_SHUTDOWN_DRAIN_MS: 3000 # > вывода по readiness (2 проверки * 1 с)
|
||
APP_SHUTDOWN_TIMEOUT_MS: 10000 # = APP_WRITE_TIMEOUT_MS: запрос успевает завершиться
|
||
secrets:
|
||
- database_url
|
||
- cache_url
|
||
- s3_access_key_id
|
||
- s3_secret_access_key
|
||
# Старт только после готовности хранилищ и успешных миграций. depends_on задаёт лишь порядок
|
||
# запуска: выводить упавшую реплику из работы должен LB.
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
valkey:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-init:
|
||
condition: service_completed_successfully
|
||
restart: unless-stopped
|
||
|
||
# Балансировщик: единственная публичная точка входа. Настройки в infra/haproxy/haproxy.cfg.
|
||
lb:
|
||
image: haproxy:3.2.9-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
# Конфигурация только для чтения.
|
||
volumes:
|
||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||
# Без адреса: порт открыт на всех интерфейсах хоста, в том числе в локальной сети.
|
||
ports:
|
||
- "${API_PUBLISH_PORT:-8080}:8080"
|
||
# Ждать готовности реплик не нужно: LB сам проверяет их и не шлёт трафик на неготовые.
|
||
depends_on:
|
||
api:
|
||
condition: service_started
|
||
# Проверяет сам LB, а не реплики: порт 8404 доступен только внутри контейнера.
|
||
healthcheck:
|
||
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8404/health"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 5
|
||
start_period: 5s
|
||
restart: unless-stopped
|
||
|
||
# internal: у этой сети нет выхода наружу. В ней только SeaweedFS и его шлюз.
|
||
networks:
|
||
s3-private:
|
||
internal: true
|
||
|
||
# Именованные тома только у хранилищ. Реплики API томов не используют.
|
||
volumes:
|
||
brokerdata:
|
||
pgdata:
|
||
valkeydata:
|
||
s3data:
|