forked from mtusi2026/mtusi2026lab6
523 lines
21 KiB
YAML
523 lines
21 KiB
YAML
# Весь стенд лабораторной: LB, реплики API, PostgreSQL, Valkey, S3 (SeaweedFS) и одноразовая подготовка.
|
||
# Запуск: docker compose --env-file .env up -d --wait Перед первым запуском: sh scripts/init-secrets.sh
|
||
# Остановка с сохранением данных: docker compose --env-file .env down С удалением данных: добавить -v
|
||
# Значения вида ${X:-8080} можно менять через окружение или .env.
|
||
|
||
name: mtusi-lab6
|
||
|
||
# Секреты лежат в файлах вне Git и видны контейнеру в /run/secrets только там, где подключены.
|
||
secrets:
|
||
broker_url:
|
||
file: ./secrets/broker_url
|
||
broker_password:
|
||
file: ./secrets/broker_password
|
||
postgres_password:
|
||
file: ./secrets/postgres_password
|
||
database_url:
|
||
file: ./secrets/database_url
|
||
valkey_password:
|
||
file: ./secrets/valkey_password
|
||
cache_url:
|
||
file: ./secrets/cache_url
|
||
valkey_cache_password:
|
||
file: ./secrets/valkey_cache_password
|
||
history_cache_url:
|
||
file: ./secrets/history_cache_url
|
||
s3_access_key_id:
|
||
file: ./secrets/s3_access_key_id
|
||
s3_secret_access_key:
|
||
file: ./secrets/s3_secret_access_key
|
||
s3_admin_access_key_id:
|
||
file: ./secrets/s3_admin_access_key_id
|
||
s3_admin_secret_access_key:
|
||
file: ./secrets/s3_admin_secret_access_key
|
||
s3_janitor_access_key_id:
|
||
file: ./secrets/s3_janitor_access_key_id
|
||
s3_janitor_secret_access_key:
|
||
file: ./secrets/s3_janitor_secret_access_key
|
||
s3_config:
|
||
file: ./secrets/s3_config
|
||
|
||
services:
|
||
otel-collector:
|
||
image: otel/opentelemetry-collector-contrib:0.137.0
|
||
command: ['--config=/etc/otelcol/config.yaml']
|
||
volumes: ['./infra/otel/collector.yaml:/etc/otelcol/config.yaml:ro']
|
||
deploy:
|
||
resources:
|
||
limits: {memory: 256M, cpus: '0.5'}
|
||
restart: unless-stopped
|
||
prometheus:
|
||
image: prom/prometheus:v3.5.0
|
||
command: ['--config.file=/etc/prometheus/prometheus.yaml', '--storage.tsdb.retention.time=3d']
|
||
volumes: ['./infra/otel/prometheus.yaml:/etc/prometheus/prometheus.yaml:ro', 'promdata:/prometheus']
|
||
ports: ['127.0.0.1:19091:9090']
|
||
restart: unless-stopped
|
||
loki:
|
||
image: grafana/loki:3.5.5
|
||
command: ['-config.file=/etc/loki/config.yaml']
|
||
volumes: ['./infra/otel/loki.yaml:/etc/loki/config.yaml:ro', 'lokidata:/loki']
|
||
ports: ['127.0.0.1:3100:3100']
|
||
restart: unless-stopped
|
||
tempo:
|
||
image: grafana/tempo:2.8.2
|
||
user: '0:0'
|
||
command: ['-config.file=/etc/tempo/config.yaml']
|
||
volumes: ['./infra/otel/tempo.yaml:/etc/tempo/config.yaml:ro', 'tempodata:/var/tempo']
|
||
ports: ['127.0.0.1:3200:3200']
|
||
restart: unless-stopped
|
||
grafana:
|
||
image: grafana/grafana:12.2.0
|
||
environment:
|
||
GF_AUTH_ANONYMOUS_ENABLED: 'true'
|
||
GF_AUTH_ANONYMOUS_ORG_ROLE: Viewer
|
||
GF_AUTH_DISABLE_LOGIN_FORM: 'true'
|
||
GF_ANALYTICS_REPORTING_ENABLED: 'false'
|
||
volumes:
|
||
- grafanadata:/var/lib/grafana
|
||
- ./infra/grafana/provisioning:/etc/grafana/provisioning:ro
|
||
- ./infra/grafana/dashboards:/var/lib/grafana/dashboards:ro
|
||
ports: ['127.0.0.1:3000:3000']
|
||
restart: unless-stopped
|
||
broker:
|
||
image: valkey/valkey:8.1.3-alpine
|
||
command: ["/bin/sh", "-c", 'exec valkey-server --appendonly yes --appendfsync always --maxmemory-policy noeviction --requirepass "$$(cat /run/secrets/broker_password)"']
|
||
secrets: [broker_password]
|
||
volumes: [brokerdata:/data]
|
||
healthcheck:
|
||
test: ["CMD-SHELL", 'valkey-cli -a "$$(cat /run/secrets/broker_password)" ping 2>/dev/null | grep -q PONG']
|
||
interval: 3s
|
||
timeout: 2s
|
||
retries: 20
|
||
restart: unless-stopped
|
||
dispatcher:
|
||
build: ./worker
|
||
command: ["python", "-u", "main.py", "dispatch"]
|
||
env_file: .env
|
||
environment:
|
||
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
|
||
OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1}
|
||
secrets: [database_url, broker_url, s3_access_key_id, s3_secret_access_key]
|
||
depends_on:
|
||
migrate: {condition: service_completed_successfully}
|
||
broker: {condition: service_healthy}
|
||
restart: unless-stopped
|
||
worker:
|
||
build: ./worker
|
||
env_file: .env
|
||
environment:
|
||
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
|
||
OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1}
|
||
secrets: [database_url, broker_url, s3_access_key_id, s3_secret_access_key]
|
||
depends_on:
|
||
migrate: {condition: service_completed_successfully}
|
||
broker: {condition: service_healthy}
|
||
s3-init: {condition: service_completed_successfully}
|
||
deploy:
|
||
resources:
|
||
limits: {cpus: "1.0", memory: 1G}
|
||
stop_grace_period: 65s
|
||
restart: unless-stopped
|
||
# Основная БД и источник истины. Общая для всех реплик; реплицирования нет, поэтому это единая точка отказа.
|
||
postgres:
|
||
image: postgres:17.6-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "2.0"
|
||
memory: 1G
|
||
# pg_stat_statements собирает статистику запросов для диагностики.
|
||
command:
|
||
- postgres
|
||
- -c
|
||
- shared_preload_libraries=pg_stat_statements
|
||
environment:
|
||
POSTGRES_USER: messenger
|
||
POSTGRES_DB: messenger
|
||
POSTGRES_PASSWORD_FILE: /run/secrets/postgres_password
|
||
secrets:
|
||
- postgres_password
|
||
# Именованный том: данные переживают пересоздание контейнера и удаляются только через down -v.
|
||
volumes:
|
||
- pgdata:/var/lib/postgresql/data
|
||
# Только 127.0.0.1: для диагностики с этого хоста. Из сети порт недоступен.
|
||
ports:
|
||
- "127.0.0.1:${POSTGRES_PORT:-15435}:5432"
|
||
# Готовность БД: от неё зависят migrate и API.
|
||
healthcheck:
|
||
test: ["CMD-SHELL", "pg_isready -U messenger -d messenger"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 10s
|
||
# Docker поднимет контейнер после сбоя, но не после ручной остановки: тесты отказа это используют.
|
||
restart: unless-stopped
|
||
|
||
# Общее хранилище сессий: поэтому токен принимает любая реплика API.
|
||
valkey:
|
||
image: valkey/valkey:8.1.3-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
# Файл журнала с записью на диск раз в секунду: сессии переживают перезапуск, при аварии
|
||
# возможна потеря последней секунды. noeviction: при нехватке памяти сессии не вытесняются молча.
|
||
# $$ передаёт $ в контейнер: пароль читается из секрета при запуске, а не хранится в файле.
|
||
command:
|
||
- /bin/sh
|
||
- -c
|
||
- >-
|
||
exec valkey-server
|
||
--appendonly yes
|
||
--appendfsync everysec
|
||
--maxmemory 128mb
|
||
--maxmemory-policy noeviction
|
||
--requirepass "$$(cat /run/secrets/valkey_password)"
|
||
secrets:
|
||
- valkey_password
|
||
volumes:
|
||
- valkeydata:/data
|
||
# Только 127.0.0.1: для диагностики с этого хоста.
|
||
ports:
|
||
- "127.0.0.1:${VALKEY_PORT:-16385}:6379"
|
||
healthcheck:
|
||
test:
|
||
- CMD-SHELL
|
||
- 'valkey-cli -a "$$(cat /run/secrets/valkey_password)" ping 2>/dev/null | grep -q PONG'
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 5s
|
||
restart: unless-stopped
|
||
|
||
# Кэш истории выключен по умолчанию (HISTORY_CACHE=off): его долг инвалидации хранится
|
||
# в памяти реплики, поэтому при нескольких API он не гарантирует чтение после записи.
|
||
valkey-cache:
|
||
# Профили: сервис запускается только по явному запросу. Тома нет: кэш не требует сохранности,
|
||
# при нехватке памяти вытесняются давние записи (allkeys-lru).
|
||
profiles: ["cache"]
|
||
image: valkey/valkey:8.1.3-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
command:
|
||
- /bin/sh
|
||
- -c
|
||
- >-
|
||
exec valkey-server
|
||
--save ""
|
||
--appendonly no
|
||
--maxmemory 64mb
|
||
--maxmemory-policy allkeys-lru
|
||
--requirepass "$$(cat /run/secrets/valkey_cache_password)"
|
||
secrets:
|
||
- valkey_cache_password
|
||
ports:
|
||
- "127.0.0.1:${VALKEY_CACHE_PORT:-6380}:6379"
|
||
healthcheck:
|
||
test:
|
||
- CMD-SHELL
|
||
- 'valkey-cli -a "$$(cat /run/secrets/valkey_cache_password)" ping 2>/dev/null | grep -q PONG'
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 5s
|
||
restart: unless-stopped
|
||
|
||
|
||
# Приватное хранилище байтов вложений. Порты на хост не публикуются. Находится только во внутренней
|
||
# сети s3-private: остальные сервисы видят его через s3-gateway и только порт S3.
|
||
# -ip.bind=127.0.0.1 важен для приватности: master, volume и filer отдают файлы БЕЗ проверки подписи
|
||
# S3, поэтому они доступны только внутри этого контейнера. Из сети стенда виден только шлюз S3 на 9000.
|
||
# -volume.preStopSeconds=0: иначе процесс ждёт 10 с при остановке и не успевает до SIGKILL.
|
||
s3:
|
||
image: chrislusf/seaweedfs:4.00
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 1G
|
||
entrypoint: ["weed"]
|
||
command:
|
||
- server
|
||
- -dir=/data
|
||
- -ip=127.0.0.1
|
||
- -ip.bind=127.0.0.1
|
||
- -master.volumeSizeLimitMB=1024
|
||
- -volume.max=${S3_MAX_VOLUMES:-64}
|
||
- -volume.preStopSeconds=0
|
||
- -filer
|
||
- -s3
|
||
- -s3.ip.bind=0.0.0.0
|
||
- -s3.port=9000
|
||
- -s3.config=/run/secrets/s3_config
|
||
networks:
|
||
s3-private:
|
||
aliases:
|
||
- s3-storage
|
||
secrets:
|
||
- s3_config
|
||
volumes:
|
||
- s3data:/data
|
||
- ./infra/seaweedfs/master.toml:/etc/seaweedfs/master.toml:ro
|
||
# healthz отвечает только шлюз; готовность записи подтверждает s3-init.
|
||
healthcheck:
|
||
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:9000/healthz"]
|
||
interval: 3s
|
||
timeout: 3s
|
||
retries: 20
|
||
start_period: 30s
|
||
restart: unless-stopped
|
||
|
||
# Шлюз к S3: в общей сети отвечает на имя s3 и пропускает только порт 9000. Служебные порты
|
||
# SeaweedFS (в том числе gRPC шлюза 19000, открытый на всех интерфейсах) из общей сети недоступны.
|
||
s3-gateway:
|
||
ports:
|
||
- "127.0.0.1:19096:9000"
|
||
image: haproxy:3.2.9-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 64M
|
||
volumes:
|
||
- ./infra/s3-gateway/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||
networks:
|
||
default:
|
||
aliases:
|
||
- s3
|
||
s3-private:
|
||
healthcheck:
|
||
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8405/health"]
|
||
interval: 3s
|
||
timeout: 3s
|
||
retries: 10
|
||
start_period: 3s
|
||
restart: unless-stopped
|
||
|
||
# Одноразовая подготовка S3: создаёт bucket и проверяет, что анонимный доступ запрещён.
|
||
# Повторный запуск ничего не меняет и не трогает объекты. Единственный сервис с ключом администратора.
|
||
s3-init:
|
||
build:
|
||
context: .
|
||
target: s3init
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
environment:
|
||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||
S3_REGION: ${S3_REGION:-us-east-1}
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_admin_access_key_id
|
||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_admin_secret_access_key
|
||
secrets:
|
||
- s3_admin_access_key_id
|
||
- s3_admin_secret_access_key
|
||
depends_on:
|
||
s3:
|
||
condition: service_healthy
|
||
s3-gateway:
|
||
condition: service_healthy
|
||
restart: "no"
|
||
|
||
# Очиститель: удаляет объекты без строки в attachments старше grace period. Отдельный сервис со
|
||
# своим ключом: только у него есть право на листинг, и у него нет права читать содержимое файлов.
|
||
janitor:
|
||
profiles: ["legacy-cleanup"]
|
||
build:
|
||
context: .
|
||
target: janitor
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
environment:
|
||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||
S3_REGION: ${S3_REGION:-us-east-1}
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
S3_ACCESS_KEY_ID_FILE: /run/secrets/s3_janitor_access_key_id
|
||
S3_SECRET_ACCESS_KEY_FILE: /run/secrets/s3_janitor_secret_access_key
|
||
DATABASE_URL_FILE: /run/secrets/database_url
|
||
DB_MAX_CONNS: 2
|
||
JANITOR_GRACE_SECONDS: ${JANITOR_GRACE_SECONDS:-3600}
|
||
JANITOR_INTERVAL_SECONDS: ${JANITOR_INTERVAL_SECONDS:-600}
|
||
JANITOR_MAX_DELETES: ${JANITOR_MAX_DELETES:-1000}
|
||
JANITOR_DRY_RUN: ${JANITOR_DRY_RUN:-false}
|
||
secrets:
|
||
- database_url
|
||
- s3_janitor_access_key_id
|
||
- s3_janitor_secret_access_key
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-init:
|
||
condition: service_completed_successfully
|
||
restart: unless-stopped
|
||
|
||
# Проверка прав S3 мимо API, запускается вручную: docker compose --env-file .env run --rm s3check
|
||
s3check:
|
||
profiles: ["tools"]
|
||
build:
|
||
context: .
|
||
target: s3check
|
||
environment:
|
||
S3_ENDPOINT: ${S3_ENDPOINT:-http://s3:9000}
|
||
S3_REGION: ${S3_REGION:-us-east-1}
|
||
S3_BUCKET: ${S3_BUCKET:-messenger-attachments}
|
||
secrets:
|
||
- s3_access_key_id
|
||
- s3_secret_access_key
|
||
- s3_janitor_access_key_id
|
||
- s3_janitor_secret_access_key
|
||
- s3_admin_access_key_id
|
||
- s3_admin_secret_access_key
|
||
restart: "no"
|
||
|
||
# Одноразовый запуск миграций: выполняется один раз до API и завершается.
|
||
migrate:
|
||
build:
|
||
context: .
|
||
target: migrate
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "0.5"
|
||
memory: 128M
|
||
environment:
|
||
DATABASE_URL_FILE: /run/secrets/database_url
|
||
secrets:
|
||
- database_url
|
||
# Миграции начинаются только после готовности БД.
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
# Завершение — штатный итог, перезапускать его не нужно.
|
||
restart: "no"
|
||
|
||
# Реплики API. Нет container_name и опубликованных портов: сервис масштабируется, а весь трафик
|
||
# идёт через LB. Своего состояния у реплик нет.
|
||
api:
|
||
# target не указан: собирается последний этап Dockerfile. APP_BUILD — метка версии для rolling update.
|
||
build:
|
||
context: .
|
||
args:
|
||
APP_BUILD: ${APP_BUILD:-dev}
|
||
env_file: .env
|
||
deploy:
|
||
# Лимиты указаны на одну реплику: при N репликах суммарно N × лимит.
|
||
replicas: ${API_REPLICAS:-2}
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
# Запас под полное декодирование изображения 40 Мп и дисковый кэш временных файлов; замер в REPORT.md.
|
||
memory: 1G
|
||
# Больше, чем APP_SHUTDOWN_DRAIN_MS + APP_SHUTDOWN_TIMEOUT_MS (3 с + 10 с), иначе Docker пришлёт SIGKILL.
|
||
stop_grace_period: 15s
|
||
environment:
|
||
OTEL_SDK_DISABLED: ${OTEL_SDK_DISABLED:-false}
|
||
OTEL_TRACES_SAMPLER_ARG: ${OTEL_TRACES_SAMPLER_ARG:-1}
|
||
S3_PUBLIC_ENDPOINT: ${S3_PUBLIC_ENDPOINT:-http://127.0.0.1:19096}
|
||
SESSION_TTL_SECONDS: ${SESSION_TTL_SECONDS:-3600}
|
||
HISTORY_CACHE: ${HISTORY_CACHE:-off}
|
||
HISTORY_CACHE_TTL_SECONDS: ${HISTORY_CACHE_TTL_SECONDS:-30}
|
||
HISTORY_CACHE_FILL_DELAY_MS: ${HISTORY_CACHE_FILL_DELAY_MS:-0}
|
||
# Подключений к БД на одну реплику: 8 реплик × 10 меньше max_connections (100).
|
||
DB_MAX_CONNS: ${DB_MAX_CONNS:-10}
|
||
# Выключает bitmap scan в БД. Обоснование в app/internal/config/database.go; замеров,
|
||
# подтверждающих это, сейчас в evidence нет.
|
||
DB_ENABLE_BITMAPSCAN: ${DB_ENABLE_BITMAPSCAN:-false}
|
||
# Цепочка согласована с infra/haproxy/haproxy.cfg, расчёт в REPORT.md.
|
||
# Мягкий предел для сборщика мусора и порог защиты от перегрузки: оба ниже лимита контейнера.
|
||
GOMEMLIMIT: 800MiB
|
||
APP_MAX_HEAP_BYTES: 805306368
|
||
APP_READ_TIMEOUT_MS: 10000 # = timeout http-request LB
|
||
APP_WRITE_TIMEOUT_MS: 10000 # < timeout server LB (15 с): 504 от LB не опережает ответ API
|
||
APP_IDLE_TIMEOUT_MS: 60000 # > keep-alive LB (30 с): API не закрывает соединение первым
|
||
APP_SHUTDOWN_DRAIN_MS: 3000 # > вывода по readiness (2 проверки * 1 с)
|
||
APP_SHUTDOWN_TIMEOUT_MS: 10000 # = APP_WRITE_TIMEOUT_MS: запрос успевает завершиться
|
||
secrets:
|
||
- database_url
|
||
- cache_url
|
||
- s3_access_key_id
|
||
- s3_secret_access_key
|
||
# Старт только после готовности хранилищ и успешных миграций. depends_on задаёт лишь порядок
|
||
# запуска: выводить упавшую реплику из работы должен LB.
|
||
depends_on:
|
||
postgres:
|
||
condition: service_healthy
|
||
valkey:
|
||
condition: service_healthy
|
||
migrate:
|
||
condition: service_completed_successfully
|
||
s3-init:
|
||
condition: service_completed_successfully
|
||
restart: unless-stopped
|
||
|
||
# Балансировщик: единственная публичная точка входа. Настройки в infra/haproxy/haproxy.cfg.
|
||
lb:
|
||
image: haproxy:3.2.9-alpine
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "1.0"
|
||
memory: 256M
|
||
# Конфигурация только для чтения.
|
||
volumes:
|
||
- ./infra/haproxy/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg:ro
|
||
# Без адреса: порт открыт на всех интерфейсах хоста, в том числе в локальной сети.
|
||
ports:
|
||
- "127.0.0.1:${API_PUBLISH_PORT:-18086}:8080"
|
||
# Ждать готовности реплик не нужно: LB сам проверяет их и не шлёт трафик на неготовые.
|
||
depends_on:
|
||
api:
|
||
condition: service_started
|
||
# Проверяет сам LB, а не реплики: порт 8404 доступен только внутри контейнера.
|
||
healthcheck:
|
||
test: ["CMD", "wget", "--quiet", "--spider", "http://127.0.0.1:8404/health"]
|
||
interval: 5s
|
||
timeout: 3s
|
||
retries: 5
|
||
start_period: 5s
|
||
restart: unless-stopped
|
||
|
||
# Генератор нагрузки в той же сети: без накладных расходов проброса портов Docker Desktop.
|
||
loadgen:
|
||
profiles: ["bench"]
|
||
build:
|
||
context: .
|
||
target: loadgen
|
||
deploy:
|
||
resources:
|
||
limits:
|
||
cpus: "4.0"
|
||
memory: 1G
|
||
# Каталог для результатов замеров.
|
||
volumes:
|
||
- ./evidence:/evidence
|
||
restart: "no"
|
||
|
||
# internal: у этой сети нет выхода наружу. В ней только SeaweedFS и его шлюз.
|
||
networks:
|
||
s3-private:
|
||
internal: true
|
||
|
||
# Именованные тома только у хранилищ. Реплики API томов не используют.
|
||
volumes:
|
||
brokerdata:
|
||
pgdata:
|
||
valkeydata:
|
||
s3data:
|
||
|
||
promdata:
|
||
lokidata:
|
||
tempodata:
|
||
grafanadata:
|